Označite stabilni kontekst
V predpomnilnik shranite le ponavljajoči se del: sistemska pravila, nespremenljivo dokumentacijo ali dolgo referenčno gradivo. Uporabniško vprašanje in spreminjajoči se podatki morajo ostati ločeni.
Oznaka cache_control je nastavitev združljive pogodbe. Preden to optimizacijo ponudite, preverite podporo v katalogu izbranega modela.
Oznaka konteksta za ponovno uporabo
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Namerno razveljavite
- Ob spremembi pravil ali izvornega gradiva spremenite različico konteksta.
- V blok za ponovno uporabo ne vstavljajte skrivnosti ali kratkotrajnih dovoljenj.
- V lastni sledi hranite zgoščeno vrednost ali različico vira, primernega za predpomnjenje.
Preverite učinek
Zakasnitev in uporabo merite na primerljivih zahtevah z enakim kontekstom.
Stroška ne sklepajte iz enega odgovora: predpomnjenje je odvisno od modela, velikosti konteksta in življenjske dobe zahteve.