Markér stabil kontekst
Cachelagr kun den gentagne del: systemregler, uforanderlig dokumentation eller en lang reference. Et brugerspørgsmål og skiftende data skal holdes adskilt.
Markøren cache_control er en præference i den kompatible kontrakt. Kontrollér understøttelsen i kataloget for den valgte model, før optimeringen gøres tilgængelig.
Genanvendelig kontekstmarkør
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Ugyldiggør bevidst
- Ændr kontekstversionen når regler eller kildemateriale ændres.
- Læg ikke hemmeligheder eller kortvarige tilladelser i en genanvendelig blok.
- Gem en hash eller version af en kilde, der kan cachelagres, i dit eget spor.
Kontrollér virkningen
Mål ventetid og brug for sammenlignelige anmodninger med samme kontekst.
Udled ikke omkostninger fra ét svar: caching afhænger af modellen, kontekststørrelsen og anmodningens levetid.