Наблюдайте сигналы
Читайте документированные заголовки ограничения и request id на каждом ответе. Не выводите вычисленное число пользователю, если оно не подтверждено данными ответа или настройками аккаунта.
Измеряйте запросы, токены и медиа-операции отдельно: их стоимость и пропускная способность могут отличаться.
Read response headers
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Планируйте нагрузку
- Ограничивайте конкурентность на пользователя и на очередь.
- Ставьте фоновые медиа-задачи в управляемую очередь.
- Оставляйте запас времени для повторов и не используйте ретраи как механизм увеличения пропускной способности.
Поведение при 429
Покажите пользователю понятный статус, сохраните несозданный черновик и назначьте повтор после допустимой паузы.
Не меняйте модель или параметры автоматически, если это изменит смысл задачи без явного выбора в вашем продукте.