Označení stabilního kontextu
Do mezipaměti ukládejte pouze opakovanou část: systémová pravidla, neměnnou dokumentaci nebo dlouhý referenční materiál. Otázka uživatele a měnící se data musí zůstat oddělené.
Značka cache_control je předvolbou kompatibilního kontraktu. Než optimalizaci zpřístupníte, ověřte podporu v katalogu vybraného modelu.
Značka opakovaně použitelného kontextu
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}Záměrné zneplatnění
- Při změně pravidel nebo zdrojových materiálů změňte verzi kontextu.
- Nevkládejte tajné údaje ani krátkodobá oprávnění do opakovaně použitelného bloku.
- Ve vlastním záznamu uchovávejte hash nebo verzi zdroje vhodného pro mezipaměť.
Ověření účinku
Měřte latenci a využití na srovnatelných požadavcích se stejným kontextem.
Neodvozujte náklady z jediné odpovědi: ukládání do mezipaměti závisí na modelu, velikosti kontextu a době trvání požadavku.