Penggunaan dan biaya

Catat metadata respons

Untuk satu pemanggilan, metadata yang dikembalikan oleh respons tersebut menjadi acuan utama: ID, penggunaan, atau biaya hanya jika kolom yang sesuai tersedia.

Jangan menganggap adanya endpoint agregasi terpisah: pengumpul eksternal memerlukan kontrak tersendiri yang telah dipublikasikan.

const requestRecord = {
  model: selectedModel,
  status: response.status,
  responseId: responseBody.id,
  usage: responseBody.usage ?? null,
  receivedAt: new Date().toISOString(),
};

// Persist only usage fields actually returned by this response.

Model data

• Pisahkan unit input, output, cache, dan media saat dikembalikan.
• Sertakan mata uang dan satuan ukur di samping setiap angka.
• Jangan jumlahkan tugas latar belakang yang belum selesai sebagai pengeluaran akhir.

Tampilan operasional

Bangun dasbor yang berfokus pada produk: pengguna, alur kerja, model, kesalahan, dan latensi. Dasbor menampilkan perubahan perilaku lebih dini daripada satu angka total.

Batasi akses ke data penggunaan dengan aturan yang sama seperti untuk informasi keuangan atau organisasi.