Ghi siêu dữ liệu phản hồi
Đối với một lệnh gọi, siêu dữ liệu do phản hồi đó trả về là dữ liệu chính: chỉ dùng id, usage hoặc cost khi trường tương ứng có mặt.
Không giả định có điểm cuối tổng hợp riêng: bộ thu thập bên ngoài cần hợp đồng đã công bố riêng.
Bản ghi yêu cầu theo từng phản hồi
typescript
const requestRecord = {
model: selectedModel,
status: response.status,
responseId: responseBody.id,
usage: responseBody.usage ?? null,
receivedAt: new Date().toISOString(),
};
// Persist only usage fields actually returned by this response.Mô hình dữ liệu
- Tách riêng các đơn vị đầu vào, đầu ra, đã lưu đệm và đa phương tiện khi được trả về.
- Giữ loại tiền và đơn vị đo bên cạnh mọi con số.
- Không tính tổng các tác vụ nền chưa hoàn thành thành chi tiêu cuối cùng.
Góc nhìn vận hành
Xây dựng bảng điều khiển quanh sản phẩm: người dùng, quy trình, mô hình, lỗi và độ trễ. Bảng này phát hiện thay đổi hành vi sớm hơn một tổng số chung.
Hạn chế quyền truy cập dữ liệu sử dụng bằng cùng quy tắc dùng cho thông tin tài chính hoặc tổ chức.