Tarkkaile signaaleja
Lue dokumentoidut rajaotsakkeet ja pyyntötunnus jokaisesta vastauksesta. Älä näytä laskettua lukua käyttäjälle, elleivät vastaustiedot tai tiliasetukset vahvista sitä.
Mittaa pyynnöt, tokenit ja mediatoiminnot erikseen: niiden kustannukset ja läpimeno voivat erota.
Lue vastausotsakkeet
bash
curl --include --request GET https://cicora.ai/api/v1/models \
--header "Authorization: Bearer $CICORA_API_KEY"
# Store the request identifier and any documented limit headers with your trace.Suunnittele kuormitus
- Rajaa rinnakkaisuus käyttäjä- ja jonokohtaisesti.
- Sijoita taustalla tehtävä mediatyö hallittuun jonoon.
- Jätä aikavaraa uusille yrityksille äläkä käytä niitä läpimenon kasvattamiseen.
Toiminta 429-tilanteessa
Näytä selkeä tila, säilytä luomatta jäänyt luonnos ja ajasta uusi yritys sallitun tauon jälkeen.
Älä vaihda mallia tai parametreja automaattisesti, jos se muuttaisi tehtävän merkitystä ilman nimenomaista tuotevalintaa.