Stabiele context markeren
Cache alleen het herhaalde deel: systeemregels, onveranderlijke documentatie of een lange referentie. Een gebruikersvraag en veranderende gegevens moeten gescheiden blijven.
De markering cache_control is een voorkeur binnen het compatibele contract. Controleer ondersteuning in de geselecteerde modelcatalogus voordat u de optimalisatie aanbiedt.
Herbruikbare contextmarkering
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Bewust ongeldig maken
- Wijzig de contextversie wanneer regels of bronmateriaal veranderen.
- Zet geen geheimen of kortlopende machtigingen in een herbruikbaar blok.
- Bewaar een hash of versie van een cachebare bron in uw eigen trace.
Het effect verifiëren
Meet latentie en gebruik op vergelijkbare aanvragen met dezelfde context.
Leid kosten niet af uit één antwoord: caching hangt af van model, contextgrootte en levensduur van de aanvraag.