cicora.ai
Français (Belgique)
Spécification de l’APIContexte répété

Mise en cache du contexte

Séparez le contexte récurrent afin qu’un client puisse utiliser une mise en cache compatible lorsque le modèle choisi la prend en charge.

Référence d’intégration : choisissez les paramètres et les capacités disponibles dans les réglages de l’API de votre compte et dans le catalogue de modèles de votre environnement.

Marquer le contexte stable

Ne mettez en cache que la partie répétée : règles système, documentation immuable ou long document de référence. Une question de l’utilisateur et des données changeantes doivent rester séparées.

Le marqueur cache_control est une préférence du contrat compatible. Vérifiez sa prise en charge dans le catalogue du modèle sélectionné avant de proposer cette optimisation.

Marqueur de contexte réutilisable
json
{
  "model": "anthropic/claude-sonnet-5",
  "messages": [{"role": "system", "content": "Stable product context..."}],
  "cache_control": {"type": "ephemeral"}
}

Invalider délibérément

  • Changez la version du contexte lorsque les règles ou les documents sources changent.
  • Ne placez pas de secrets ou d’autorisations de courte durée dans un bloc réutilisable.
  • Conservez un hachage ou une version d’une source pouvant être mise en cache dans votre propre trace.

Vérifier l’effet

Mesurez la latence et l’utilisation sur des requêtes comparables dotées du même contexte.

Ne déduisez pas le coût d’une seule réponse : la mise en cache dépend du modèle, de la taille du contexte et de la durée de vie de la requête.

Continuer avec