Oznacz stabilny kontekst
Buforuj tylko powtarzalną część: reguły systemowe, niezmienną dokumentację lub długi materiał referencyjny. Pytanie użytkownika i zmieniające się dane muszą pozostać oddzielne.
Znacznik cache_control jest preferencją zgodnego kontraktu. Sprawdź obsługę w katalogu wybranego modelu przed udostępnieniem tej optymalizacji.
Znacznik kontekstu wielokrotnego użytku
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Unieważniaj świadomie
- Zmień wersję kontekstu, gdy zmienią się reguły lub materiał źródłowy.
- Nie umieszczaj sekretów ani krótkotrwałych uprawnień w bloku wielokrotnego użytku.
- Zachowuj skrót lub wersję źródła przeznaczonego do buforowania we własnym śladzie.
Sprawdź efekt
Mierz opóźnienie i wykorzystanie na porównywalnych żądaniach z tym samym kontekstem.
Nie wyciągaj wniosków o kosztach z jednej odpowiedzi: buforowanie zależy od modelu, rozmiaru kontekstu i czasu życia żądania.