BroadRouter
Bắt đầu

SLA (thỏa thuận mức dịch vụ, service level agreement)

Cập nhật

SLA (thỏa thuận mức dịch vụ) là cam kết theo hợp đồng của nhà cung cấp về một mức dịch vụ đo được, thường là phần trăm uptime hằng tháng, kèm biện pháp khắc phục cụ thể, thường là service credit, nếu không đạt. SLA định nghĩa downtime, các loại trừ và cách yêu cầu bồi hoàn.

Còn gọi là: SLA là gì, thỏa thuận mức dịch vụ, cam kết chất lượng dịch vụ, cam kết uptime, service credit, service level agreement, uptime SLA, uptime guarantee, service credits

“Tính sẵn sàng cao” là một kỳ vọng. SLA là một con số trong hợp đồng, kèm biện pháp khắc phục rõ ràng khi con số đó không đạt.

Cách hoạt động

Một SLA định nghĩa bốn điều: phạm vi áp dụng, cách đo downtime, bạn nhận được gì khi mục tiêu không đạt, và cách yêu cầu. SLA của Google cho Gemini online inference API trên Gemini Enterprise Agent Platform là một ví dụ thực tế rõ ràng:

  • Mục tiêu. Monthly Uptime Percentage 99,5% cho các phương thức generateContent và streamGenerateContent (95% với các model được chỉ định thời gian khả dụng ngắn hơn).
  • Downtime. “more than a five percent Error Rate” (Bản dịch: tỷ lệ lỗi trên năm phần trăm), trong đó lỗi là các response HTTP 5XX cho request hợp lệ, và chỉ tính trong những khoảng “five or more consecutive minutes” (Bản dịch: từ năm phút liên tiếp trở lên).
  • Credit.
Uptime hằng tháng Credit trên hóa đơn tháng của dịch vụ
Từ 99,0% đến dưới 99,5% 10%
Từ 95,0% đến dưới 99,0% 25%
Dưới 95,0% 50%
  • Yêu cầu. Khách hàng “must notify Google technical support within 30 days” (Bản dịch: phải thông báo cho bộ phận hỗ trợ kỹ thuật của Google trong vòng 30 ngày) và cung cấp file log cho thấy các khoảng downtime. Credit tối đa bằng 50% hóa đơn tháng đó cho dịch vụ.
  • Loại trừ. Tính năng trước GA, Grounding with Google Search, lỗi từ phần mềm của chính khách hàng, deadline ngắn hơn mặc định của server, và lỗi quota đều không được tính.

Cùng SLA này còn thêm mục tiêu độ trễ cho một số model dùng Provisioned Throughput, đo bằng token đầu ra mỗi giây. Để xem Azure, Amazon Bedrock, OpenAI, Anthropic và các bên khác đặt cạnh nhau, đọc so sánh SLA của API LLM.

Vì sao quan trọng

  • Uptime không phải throughput. Một SLA chỉ đếm lỗi 5XX không nói gì về giới hạn tần suất (429) hay response chậm, trừ khi có mục tiêu độ trễ.
  • Credit rất nhỏ. Credit 10% hiếm khi bù được thiệt hại mà sự cố gây ra cho sản phẩm của bạn. Dù sao cũng hãy thiết kế cho trường hợp lỗi: thử lại với backoff, timeout và một model dự phòng hoặc nhà cung cấp dự phòng. Xem hướng dẫn lỗi và thử lại.
  • Đọc phần loại trừ. SLA của Google loại trừ tính năng trước GA và một số dịch vụ được nêu tên; hãy kiểm tra xem SLA nào cũng có ngoại lệ tương tự không.
  • Tự giữ log. Yêu cầu bồi hoàn cần bằng chứng. Hãy ghi lại request ID, timestamp và status code.

Trên BroadNet Inference

API self-serve của BroadNet, cả trả theo mức dùng lẫn các gói, đều không có SLA. Điều khoản dịch vụ (§7.4) viết: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (Bản dịch: Chúng tôi cố gắng giữ API luôn khả dụng và công bố những gì chúng tôi đo được, nhưng self-serve không có cam kết khả dụng.) Điều khoản còn nói “Service levels exist only in a separate written agreement” (Bản dịch: mức dịch vụ chỉ tồn tại trong một thỏa thuận văn bản riêng), và private endpoint cũng như capacity đặt trước tuân theo thỏa thuận đó. Nếu bạn cần uptime có hợp đồng, hãy hỏi BroadNet về private endpoint; bài lên kế hoạch private endpoint của chúng tôi nói rõ cần chuẩn bị gì. Với self-serve, hãy lên phương án dự phòng: checklist chọn nhà cung cấp ghi nhận chúng tôi không tìm thấy SLA, trang trạng thái hay chính sách ngừng hỗ trợ model trong tài liệu của BroadNet.

Câu hỏi thường gặp

Uptime 99,5% mỗi tháng cho phép bao nhiêu downtime?

Khoảng 3,6 giờ trong một tháng 30 ngày: 0,5% của 43.200 phút là 216 phút. Hãy xem SLA định nghĩa downtime thế nào, vì sự cố ngắn hoặc chỉ một phần có thể không được tính.

Service credit có bù được thiệt hại của tôi không?

Thường là không. Credit là khoản giảm trừ trên hóa đơn sau này cho dịch vụ bị ảnh hưởng, và thường có trần. Ví dụ, SLA Gemini của Google giới hạn credit ở 50% hóa đơn tháng đó cho dịch vụ, và gọi SLA là “sole and exclusive remedy” (Bản dịch: biện pháp khắc phục duy nhất và độc quyền) của khách hàng.

BroadNet Inference có SLA không?

Không có với gói tự phục vụ (self-serve). Điều khoản dịch vụ của BroadNet nói self-serve không có cam kết khả dụng, và mức dịch vụ chỉ tồn tại trong một thỏa thuận văn bản riêng, chẳng hạn cho private endpoint.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity