Penggunaan dan kos

Rekod metadata respons

Bagi satu panggilan, metadata yang dikembalikan oleh respons tersebut ialah yang utama: id, usage atau cost hanya apabila medan yang sepadan wujud.

Jangan andaikan titik akhir pengagregatan berasingan: pengumpul luaran memerlukan kontrak terbitannya sendiri.

const requestRecord = {
  model: selectedModel,
  status: response.status,
  responseId: responseBody.id,
  usage: responseBody.usage ?? null,
  receivedAt: new Date().toISOString(),
};

// Persist only usage fields actually returned by this response.

Model data

• Asingkan unit input, output, cache dan media apabila dikembalikan.
• Kekalkan mata wang dan unit ukuran di sebelah setiap nombor.
• Jangan jumlahkan kerja latar belakang yang belum selesai sebagai perbelanjaan akhir.

Paparan operasi

Bina papan pemuka yang berpaksikan produk: pengguna, aliran kerja, model, ralat dan kependaman. Ia mendedahkan perubahan tingkah laku lebih awal daripada satu jumlah keseluruhan.

Hadkan akses kepada data penggunaan dengan peraturan yang sama seperti untuk maklumat kewangan atau organisasi.