“Tính sẵn sàng cao” là một kỳ vọng. SLA là một con số trong hợp đồng, kèm biện pháp khắc phục rõ ràng khi con số đó không đạt.
Cách hoạt động
Một SLA định nghĩa bốn điều: phạm vi áp dụng, cách đo downtime, bạn nhận được gì khi mục tiêu không đạt, và cách yêu cầu. SLA của Google cho Gemini online inference API trên Gemini Enterprise Agent Platform là một ví dụ thực tế rõ ràng:
- Mục tiêu. Monthly Uptime Percentage 99,5% cho các phương thức
generateContentvàstreamGenerateContent(95% với các model được chỉ định thời gian khả dụng ngắn hơn). - Downtime. “more than a five percent Error Rate” (Bản dịch: tỷ lệ lỗi trên năm phần trăm), trong đó lỗi là các response HTTP 5XX cho request hợp lệ, và chỉ tính trong những khoảng “five or more consecutive minutes” (Bản dịch: từ năm phút liên tiếp trở lên).
- Credit.
| Uptime hằng tháng | Credit trên hóa đơn tháng của dịch vụ |
|---|---|
| Từ 99,0% đến dưới 99,5% | 10% |
| Từ 95,0% đến dưới 99,0% | 25% |
| Dưới 95,0% | 50% |
- Yêu cầu. Khách hàng “must notify Google technical support within 30 days” (Bản dịch: phải thông báo cho bộ phận hỗ trợ kỹ thuật của Google trong vòng 30 ngày) và cung cấp file log cho thấy các khoảng downtime. Credit tối đa bằng 50% hóa đơn tháng đó cho dịch vụ.
- Loại trừ. Tính năng trước GA, Grounding with Google Search, lỗi từ phần mềm của chính khách hàng, deadline ngắn hơn mặc định của server, và lỗi quota đều không được tính.
Cùng SLA này còn thêm mục tiêu độ trễ cho một số model dùng Provisioned Throughput, đo bằng token đầu ra mỗi giây. Để xem Azure, Amazon Bedrock, OpenAI, Anthropic và các bên khác đặt cạnh nhau, đọc so sánh SLA của API LLM.
Vì sao quan trọng
- Uptime không phải throughput. Một SLA chỉ đếm lỗi 5XX không nói gì về giới hạn tần suất (429) hay response chậm, trừ khi có mục tiêu độ trễ.
- Credit rất nhỏ. Credit 10% hiếm khi bù được thiệt hại mà sự cố gây ra cho sản phẩm của bạn. Dù sao cũng hãy thiết kế cho trường hợp lỗi: thử lại với backoff, timeout và một model dự phòng hoặc nhà cung cấp dự phòng. Xem hướng dẫn lỗi và thử lại.
- Đọc phần loại trừ. SLA của Google loại trừ tính năng trước GA và một số dịch vụ được nêu tên; hãy kiểm tra xem SLA nào cũng có ngoại lệ tương tự không.
- Tự giữ log. Yêu cầu bồi hoàn cần bằng chứng. Hãy ghi lại request ID, timestamp và status code.
Trên BroadNet Inference
API self-serve của BroadNet, cả trả theo mức dùng lẫn các gói, đều không có SLA. Điều khoản dịch vụ (§7.4) viết: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Bản dịch: Chúng tôi cố gắng giữ API luôn khả dụng và công bố những gì chúng tôi đo được, nhưng self-serve không có cam kết khả dụng.) Điều khoản còn nói “Service levels exist only in a separate written agreement” (Bản dịch: mức dịch vụ chỉ tồn tại trong một thỏa thuận văn bản riêng), và private endpoint cũng như capacity đặt trước tuân theo thỏa thuận đó. Nếu bạn cần uptime có hợp đồng, hãy hỏi BroadNet về private endpoint; bài lên kế hoạch private endpoint của chúng tôi nói rõ cần chuẩn bị gì. Với self-serve, hãy lên phương án dự phòng: checklist chọn nhà cung cấp ghi nhận chúng tôi không tìm thấy SLA, trang trạng thái hay chính sách ngừng hỗ trợ model trong tài liệu của BroadNet.