設定偏好
provider 欄位會設定單次請求的執行選擇規則。應將它視為政策,而非特定內部路由的承諾。
對具有必要屬性的任務,應明確要求相關參數,而非默默降低品質。
請求中的路由偏好
json
{
"model": "openai/gpt-5.6-sol",
"messages": [{"role": "user", "content": "Classify this support ticket."}],
"provider": {
"order": ["provider-a", "provider-b"],
"allow_fallbacks": true,
"require_parameters": true
}
}實用的限制條件
- order 用來設定允許選項的優先順序。
- allow_fallbacks 用來定義請求是否可改用替代選項。
- require_parameters 可協助拒絕無法滿足所宣告合約的路由。
可觀測性
在自己的追蹤記錄中保留所選模型、時間、狀態與支出。若回覆未包含內部路由細節,請勿將其當作事實呈現給使用者。
選項用盡時,請以可預期方式回覆:傳回原始原因,並提供使用相容設定重試的選項。