Merk stabil kontekst
Mellomlagre bare den gjentatte delen: systemregler, uforanderlig dokumentasjon eller en lang referanse. Et brukerspørsmål og skiftende data må holdes atskilt.
Markøren cache_control er en preferanse i den kompatible kontrakten. Kontroller støtte i katalogen for den valgte modellen før optimaliseringen gjøres tilgjengelig.
Gjenbrukbar kontekstmarkør
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Ugyldiggjør med hensikt
- Endre kontekstversjonen når regler eller kildemateriale endres.
- Ikke legg hemmeligheter eller kortvarige tillatelser i en gjenbrukbar blokk.
- Behold en hash eller versjon av en kilde som kan mellomlagres, i ditt eget spor.
Kontroller virkningen
Mål ventetid og bruk for sammenlignbare forespørsler med samme kontekst.
Ikke utled kostnader fra ett svar: mellomlagring avhenger av modell, kontekststørrelse og forespørselens levetid.