Contrassegna il contesto stabile
Memorizza nella cache solo la parte ripetuta: regole di sistema, documentazione immutabile o un riferimento lungo. La domanda dell'utente e i dati variabili devono restare separati.
Il marcatore cache_control è una preferenza del contratto compatibile. Verifica il supporto nel catalogo del modello selezionato prima di rendere disponibile l'ottimizzazione.
Marcatore di contesto riutilizzabile
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Invalida intenzionalmente
- Modifica la versione del contesto quando cambiano le regole o il materiale sorgente.
- Non inserire segreti o autorizzazioni di breve durata in un blocco riutilizzabile.
- Conserva un hash o una versione di una fonte memorizzabile nella cache nella tua traccia.
Verifica l'effetto
Misura latenza e utilizzo su richieste comparabili con lo stesso contesto.
Non dedurre il costo da una sola risposta: la memorizzazione nella cache dipende dal modello, dalla dimensione del contesto e dalla durata della richiesta.