Observer signalene
Les dokumenterte grensehoder og forespørsels-ID ved hvert svar. Ikke vis et beregnet tall til brukeren med mindre svardata eller kontoinnstillinger bekrefter det.
Mål forespørsler, tokener og medieoperasjoner separat: kostnadene og gjennomstrømningen kan være ulike.
Les svarhoder
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Planlegg belastningen
- Avgrens samtidighet per bruker og per kø.
- Legg mediearbeid i bakgrunnen i en administrert kø.
- Sett av tidsmargin til nye forsøk, og ikke bruk nye forsøk som en mekanisme for gjennomstrømning.
Atferd ved 429
Vis en tydelig status, ta vare på et utkast som ikke ble opprettet, og planlegg et nytt forsøk etter en tillatt pause.
Ikke endre modell eller parametere automatisk når det vil endre meningen med oppgaven uten et uttrykkelig produktvalg.