標記穩定脈絡
只快取重複部分,例如系統規則、不可變文件或長篇參考資料。使用者問題與會變動的資料必須分開。
cache_control 標記是相容合約中的偏好設定。公開此最佳化選項前,請先在所選模型目錄中確認支援情況。
可重複使用的脈絡標記
json
{
"model": "anthropic/claude-sonnet-5",
"messages": [{"role": "system", "content": "Stable product context..."}],
"cache_control": {"type": "ephemeral"}
}有計畫地使快取失效
- 規則或來源資料變更時,請變更脈絡版本。
- 請勿將機密或短期權限放入可重複使用的區塊。
- 在自己的追蹤記錄中保留可快取來源的雜湊值或版本。
驗證效果
使用相同脈絡的可比較請求來衡量延遲與用量。
請勿根據單次回覆推斷成本;快取情況取決於模型、脈絡大小與請求存續時間。