Sledování signálů
U každé odpovědi čtěte zdokumentované hlavičky limitů a ID požadavku. Nezobrazujte uživateli vypočtenou hodnotu, pokud ji nepotvrzují data odpovědi nebo nastavení účtu.
Požadavky, tokeny a mediální operace měřte odděleně: jejich náklady a propustnost se mohou lišit.
Čtení hlaviček odpovědi
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Plánování zatížení
- Omezte souběžnost pro každého uživatele a každou frontu.
- Zařaďte mediální úlohy na pozadí do spravované fronty.
- Ponechte časovou rezervu na opakování a nepoužívejte opakování jako mechanismus propustnosti.
Chování při 429
Zobrazte jasný stav, zachovejte návrh položky, která zatím nebyla vytvořena, a naplánujte opakování po povolené prodlevě.
Neměňte automaticky model ani parametry, pokud by to bez výslovné volby v produktu změnilo význam úkolu.