Sledujte signály
Pri každej odpovedi čítajte zdokumentované hlavičky limitov a ID požiadavky. Vypočítané číslo nezobrazujte používateľovi, pokiaľ ho nepotvrdzujú údaje odpovede alebo nastavenia účtu.
Požiadavky, tokeny a operácie s médiami merajte samostatne: ich náklady a priepustnosť sa môžu líšiť.
Čítajte hlavičky odpovede
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Naplánujte zaťaženie
- Ohraničte súbežnosť pre každého používateľa a každý front.
- Zaraďte spracovanie médií na pozadí do spravovaného frontu.
- Ponechajte časovú rezervu na opakovania a nepoužívajte ich ako mechanizmus priepustnosti.
Správanie pri 429
Zobrazte jasný stav, zachovajte nevytvorený koncept a naplánujte opakovanie po povolenej prestávke.
Model ani parametre automaticky nemeňte, ak by sa bez výslovnej voľby v produkte zmenil význam úlohy.