Označte stabilný kontext
Do vyrovnávacej pamäte ukladajte iba opakovanú časť: systémové pravidlá, nemennú dokumentáciu alebo dlhú referenciu. Otázka používateľa a meniace sa údaje musia zostať oddelené.
Značka cache_control je preferencia kompatibilnej zmluvy. Pred sprístupnením optimalizácie overte podporu v katalógu vybraného modelu.
Značka opakovane použiteľného kontextu
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Zneplatňujte zámerne
- Pri zmene pravidiel alebo zdrojového materiálu zmeňte verziu kontextu.
- Do opakovane použiteľného bloku nevkladajte tajné údaje ani krátkodobé povolenia.
- Vo vlastnom zázname uchovávajte hash alebo verziu zdroja, ktorý možno uložiť do vyrovnávacej pamäte.
Overte účinok
Latenciu a využitie merajte na porovnateľných požiadavkách s rovnakým kontextom.
Náklady neodvodzujte z jednej odpovede: ukladanie do vyrovnávacej pamäte závisí od modelu, veľkosti kontextu a životnosti požiadavky.