Marcar contexto estável
Coloque em cache apenas a parte repetida: regras do sistema, documentação imutável ou uma referência longa. A pergunta do utilizador e os dados variáveis devem permanecer fora dela.
O marcador cache_control é uma preferência do contrato compatível. Verifique a compatibilidade no catálogo do modelo selecionado antes de disponibilizar a otimização.
Marcador de contexto reutilizável
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Invalidar deliberadamente
- Altere a versão do contexto quando mudarem as regras ou o material de origem.
- Não coloque segredos nem permissões de curta duração num bloco reutilizável.
- Conserve um hash ou uma versão de uma fonte passível de cache no seu próprio rastreio.
Verificar o efeito
Meça a latência e a utilização em pedidos comparáveis com o mesmo contexto.
Não deduza o custo de uma única resposta: a cache depende do modelo, do tamanho do contexto e da duração do pedido.