觀察訊號
每次回覆都應讀取文件所載的限制標頭與請求 ID。除非回覆資料或帳戶設定已確認,否則不要向使用者顯示計算出的數字。
分別衡量請求、token 與媒體操作,因為其成本與處理量可能不同。
讀取回覆標頭
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.規劃負載
- 分別限制每位使用者與每個佇列的並行數。
- 將背景媒體工作放入受控佇列。
- 為重試預留時間,且不要將重試用作提高處理量的機制。
遇到 429 時的處理方式
顯示清楚的狀態、保留尚未建立的草稿,並在允許的暫停時間過後排定重試。
若變更模型或參數會改變任務含義,請勿在沒有明確產品選擇的情況下自動變更。