Routing

Angiv præferencer

Feltet provider angiver regler for valg af kørsel for én anmodning. Behandl det som politik, ikke som et løfte om en bestemt intern rute.

For opgaver med obligatoriske egenskaber skal du udtrykkeligt kræve de relevante parametre i stedet for i det skjulte at sænke kvaliteten.

{
  "model": "openai/gpt-5.6-sol",
  "messages": [{"role": "user", "content": "Classify this support ticket."}],
  "provider": {
    "order": ["provider-a", "provider-b"],
    "allow_fallbacks": true,
    "require_parameters": true
  }
}

Nyttige begrænsninger

• order angiver prioriteten for tilladte alternativer.
• allow_fallbacks angiver om en anmodning kan flyttes til et alternativ.
• require_parameters hjælper med at afvise en rute, der ikke kan opfylde den angivne kontrakt.

Observerbarhed

Bevar valgt model, tidsforbrug, status og forbrug i dit eget spor. Præsenter ikke interne routingdetaljer som fakta for en bruger, når de mangler i svaret.

Når mulighederne er udtømt, skal svaret være forudsigeligt: returnér den oprindelige årsag, og tilbyd et nyt forsøg med en kompatibel konfiguration.