Obserwuj sygnały
Odczytuj udokumentowane nagłówki limitów i identyfikator żądania w każdej odpowiedzi. Nie pokazuj użytkownikowi obliczonej liczby, jeśli nie potwierdzają jej dane odpowiedzi lub ustawienia konta.
Mierz osobno żądania, tokeny i operacje multimedialne: ich koszt i przepustowość mogą się różnić.
Odczytaj nagłówki odpowiedzi
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Zaplanuj obciążenie
- Ograniczaj współbieżność osobno dla użytkownika i kolejki.
- Umieszczaj zadania przetwarzania multimediów w tle w zarządzanej kolejce.
- Pozostaw zapas czasu na ponowienia i nie używaj ich jako mechanizmu zwiększania przepustowości.
Postępowanie przy 429
Pokazuj jasny status, zachowuj nieutworzoną wersję roboczą i planuj ponowienie po dozwolonej przerwie.
Nie zmieniaj automatycznie modelu ani parametrów, jeśli bez jawnej decyzji produktowej zmieniłoby to znaczenie zadania.