Markera stabil kontext
Cachelagra endast den upprepade delen: systemregler, oföränderlig dokumentation eller en lång referens. En användarfråga och data som förändras behöver hållas åtskilda.
Markören cache_control är en preferens i det kompatibla kontraktet. Kontrollera i modellkatalogen att den valda modellen stöder den innan optimeringen visas.
Återanvändbar kontextmarkör
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Invalidera avsiktligt
- Ändra kontextversionen när regler eller källmaterial ändras.
- Placera inte hemligheter eller kortvariga behörigheter i ett återanvändbart block.
- Spara en hash eller version av en cachelagringsbar källa i din egen spårning.
Verifiera effekten
Mät latens och användning på jämförbara begäranden med samma kontext.
Härled inte kostnad från ett svar: cachelagring beror på modell, kontextstorlek och begärans livslängd.