cicora.ai
API 規格重複脈絡

脈絡快取

將重複出現的脈絡分開,讓用戶端可在所選模型支援時使用相容快取。

整合參考:請從帳戶 API 設定及適用於您環境的模型目錄中選擇參數與可用功能。

標記穩定脈絡

只快取重複部分,例如系統規則、不可變文件或長篇參考資料。使用者問題與會變動的資料必須分開。

cache_control 標記是相容合約中的偏好設定。公開此最佳化選項前,請先在所選模型目錄中確認支援情況。

可重複使用的脈絡標記
json
{
  "model": "anthropic/claude-sonnet-5",
  "messages": [{"role": "system", "content": "Stable product context..."}],
  "cache_control": {"type": "ephemeral"}
}

有計畫地使快取失效

  • 規則或來源資料變更時,請變更脈絡版本。
  • 請勿將機密或短期權限放入可重複使用的區塊。
  • 在自己的追蹤記錄中保留可快取來源的雜湊值或版本。

驗證效果

使用相同脈絡的可比較請求來衡量延遲與用量。

請勿根據單次回覆推斷成本;快取情況取決於模型、脈絡大小與請求存續時間。