シグナルを観測
すべての応答で、文書化された上限ヘッダーとリクエストIDを読み取ります。応答データまたはアカウント設定で確認できない計算値をユーザーに表示しないでください。
リクエスト、トークン、メディア操作を別々に計測します。それぞれコストと処理量が異なる場合があります。
応答ヘッダーを読み取る
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.負荷を計画
- ユーザー単位およびキュー単位で同時実行数に上限を設定します。
- バックグラウンドのメディア処理を管理対象のキューに入れます。
- 再試行用の時間的余裕を残し、再試行を処理量を増やす手段として使わないでください。
429発生時の動作
明確なステータスを表示し、未作成のドラフトを保持して、許容される待機時間後に再試行を予定します。
タスクの意味が変わる場合は、製品側で明示的に選択されていない限り、モデルやパラメーターを自動変更しないでください。