Tìm “SLA API LLM” và bạn sẽ thấy những bảng mâu thuẫn với nhau. Bài này bỏ qua các bảng đó và đọc nguồn gốc: trang SLA hoặc điều khoản của chính từng nhà cung cấp, truy cập ngày 15 tháng 11 năm 2026. Với mỗi nhà cung cấp, chúng tôi ghi lại mục tiêu uptime, thế nào được tính là downtime, tín dụng dịch vụ, mục tiêu độ trễ nếu có và hạng nào được bảo đảm. BroadRouter là website của BroadNet, nên BroadNet cũng có trong danh sách, và nó là một trong các nhà cung cấp không có SLA cho gói tự phục vụ.
SLA của API LLM thực sự hứa điều gì?
Một SLA là một mục tiêu bằng văn bản kèm biện pháp bồi thường. Nó không làm API luôn chạy. Nó nói điều gì xảy ra với hóa đơn của bạn khi API không chạy. Mọi SLA dưới đây đều có bốn phần giống nhau:
- Một mục tiêu. Thường là tỷ lệ uptime hằng tháng theo region, project hoặc tài nguyên.
- Một định nghĩa downtime. Hầu như luôn chỉ tính lỗi máy chủ: phản hồi 500 hoặc 5XX cho request hợp lệ. Lỗi 429 do giới hạn tốc độ không phải downtime. Câu trả lời chậm hay sai cũng không.
- Một biện pháp bồi thường. Một phần trăm hóa đơn tháng đó của dịch vụ bị ảnh hưởng, ghi có vào các hóa đơn sau và có trần.
- Một quy trình yêu cầu. Bạn tự yêu cầu tín dụng, kèm log của chính bạn, trong một thời hạn.
Các tỷ lệ phần trăm quy ra phút như sau, với một tháng 30 ngày gồm 43.200 phút:
| Uptime hằng tháng | Downtime cho phép |
|---|---|
| 99,9% | khoảng 43 phút |
| 99,5% | 216 phút |
| 99,0% | 432 phút |
| 95,0% | 36 giờ |
API LLM nào công bố SLA?
Mọi dòng đều đọc từ trang của chính nhà cung cấp vào ngày 15 tháng 11 năm 2026. “Không tìm thấy” nghĩa là trang chúng tôi kiểm tra không nêu SLA nào; điều đó không loại trừ một hợp đồng riêng.
| Nhà cung cấp và dịch vụ | Mục tiêu uptime | Được tính là downtime | Tín dụng | SLA độ trễ | Ai được bảo đảm |
|---|---|---|---|---|---|
| Microsoft Azure, Foundry Models (gồm các model Azure OpenAI) | 99,9% | Request trả về mã lỗi, lấy trung bình theo phút | 10% khi dưới 99,9%, 25% khi dưới 99% | Có, cho deployment Provisioned Managed và Priority Processing | Foundry Models sold by Azure; trừ hạng Developer |
| Amazon Bedrock | 99,9% (tín dụng bắt đầu dưới mức này) | Request trả về mã lỗi 500, theo khoảng 5 phút, theo region | 10%, 25% khi dưới 99,0%, 100% khi dưới 95,0% | Không có trong SLA | Bedrock ở từng region AWS |
| Google, Gemini online inference API | 99,5% (95% cho model có thời gian cung cấp ngắn hơn) | Tỷ lệ lỗi 5XX trên 5% trong 5 phút liên tiếp trở lên | 10%, 25% khi dưới 99,0%, 50% khi dưới 95,0% | Có, với Provisioned Throughput trên endpoint toàn cầu | generateContent và streamGenerateContent |
| OpenAI, Scale Tier | 99,9% | Không định nghĩa trên trang công khai | Không nêu trên trang công khai | 99% thời gian trên mức sàn token mỗi giây theo từng model | Khách hàng Enterprise, đơn vị token mua tối thiểu 30 ngày |
| OpenAI, trả theo mức dùng tiêu chuẩn | Không tìm thấy | – | – | – | – |
| Anthropic API | Không tìm thấy; điều khoản ghi “as is” và “as available” | – | – | – | – |
| Fireworks AI, Reserved Throughput | Điều khoản uptime 99,9% | Không nêu trên trang giá | Không nêu | SLA thông lượng | Chỉ dung lượng đặt trước; phần vượt mức không được bảo đảm |
| Together AI | Serverless: không nêu. “Provisioned Throughput: Token-based capacity with SLAs” (bản dịch: dung lượng tính theo token kèm SLA; điều khoản không công bố trên trang) | – | – | – | Hỏi bộ phận kinh doanh về điều khoản SLA |
| BroadNet Inference, tự phục vụ | Không có: “no availability commitment” | – | – | – | Mức dịch vụ chỉ có trong thỏa thuận bằng văn bản riêng |
SLA của các hyperscaler khác nhau thế nào?
Microsoft Azure. Trang Learn của Microsoft nói Foundry Models sold by Azure “include all Azure OpenAI models” (bản dịch: gồm mọi model Azure OpenAI) và “covered by Azure service-level agreements” (bản dịch: được các thỏa thuận mức dịch vụ của Azure bảo đảm). SLA hợp nhất (bản tháng 10 năm 2026) định nghĩa Error Rate theo phút và Uptime Percentage là 100% trừ tỷ lệ lỗi trung bình. Tín dụng là 10% khi dưới 99,9% và 25% khi dưới 99%. Tín dụng chỉ áp dụng cho Foundry Models sold by Azure, và “The Developer tier of the Foundry Models service is not covered by this SLA.” (bản dịch: Hạng Developer của dịch vụ Foundry Models không được SLA này bảo đảm.) Với deployment Provisioned Managed và Priority Processing, một SLA thứ hai đo token mỗi giây so với mục tiêu theo từng model trong tài liệu sản phẩm, với tín dụng 10% nếu mức đạt dưới 99%.
Amazon Bedrock. AWS cam kết “commercially reasonable efforts” (bản dịch: nỗ lực hợp lý về mặt thương mại) để đạt bảng uptime. Độ sẵn sàng là “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (bản dịch: tỷ lệ phần trăm request do Amazon Bedrock xử lý không thất bại vì lỗi), và một lỗi là “any Request that returns a 500 error code” (bản dịch: bất kỳ request nào trả về mã lỗi 500). Nó được tính theo region, và các khoảng không có request được tính là hoàn toàn sẵn sàng. Các trường hợp loại trừ gồm hành động của khách hàng như “scaling of provisioned throughput” (bản dịch: thay đổi quy mô thông lượng đặt trước) và phần mềm model gây ra “repeated model crashes or an inoperable model” (bản dịch: model sập liên tục hoặc không hoạt động được). SLA này không có mục tiêu độ trễ.
Google Cloud. SLA cho Gemini online inference khắt khe nhất về những gì được tính. Downtime cần tỷ lệ lỗi phản hồi 5XX trên 5%, kéo dài “five or more consecutive minutes” (bản dịch: năm phút liên tiếp trở lên). Tín dụng có trần 50% hóa đơn tháng của dịch vụ, bạn phải báo bộ phận hỗ trợ trong vòng 30 ngày kèm file log, và SLA là “sole and exclusive remedy” (bản dịch: biện pháp bồi thường duy nhất và độc quyền) của bạn. Grounding với Google Search, lỗi quota và thời hạn ngắn hơn mặc định của máy chủ bị loại trừ. Với Provisioned Throughput, một SLA độ trễ áp dụng cho một số model Gemini 2.5 trên endpoint toàn cầu, đo bằng token mỗi giây p50 theo từng khoảng 5 phút. Nếu thay vào đó bạn tự triển khai model mở trên Vertex AI, SLA riêng của Vertex AI Platform bảo đảm dự đoán trực tuyến cho model tùy chỉnh ở mức 99,5%, nhưng chỉ “for models deployed on 2 or more nodes” (bản dịch: cho model được triển khai trên 2 node trở lên).
Còn dùng trực tiếp OpenAI và Anthropic thì sao?
OpenAI. Trang Scale Tier viết: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (bản dịch: Traffic Scale Tier có SLA uptime 99,9% và tài nguyên tính toán được ưu tiên.) Bảng của trang đi kèm SLA độ trễ theo từng model, chẳng hạn “99% > 50 tokens per second” (bản dịch: 99% thời gian trên 50 token mỗi giây), tính bằng độ trễ request p50 mỗi 5 phút. Trang ghi “This offering is available to Enterprise customers” (bản dịch: Gói này dành cho khách hàng Enterprise), rằng mỗi đơn vị token được mua “for a minimum of 30 days” (bản dịch: tối thiểu 30 ngày), và Scale Tier áp dụng cho các model ra mắt trước GPT-5.6, còn Reserved Tier dành cho model sau đó. Chúng tôi không tìm thấy SLA uptime nào gắn với việc dùng trả theo mức dùng tiêu chuẩn. (openai.com chặn trình thu thập của chúng tôi, nên chúng tôi đọc trang từ bản lưu ngày 7 tháng 11 năm 2026 của Internet Archive.)
Anthropic. Điều khoản thương mại công khai (hiệu lực từ ngày 17 tháng 6 năm 2025) không có SLA hay tín dụng dịch vụ. Mục L.2 cung cấp dịch vụ “AS IS” (nguyên trạng) và “AS AVAILABLE” (tùy khả năng sẵn có) và từ chối bảo đảm rằng việc sử dụng “WILL BE UNINTERRUPTED” (bản dịch: sẽ không bị gián đoạn). Thỏa thuận doanh nghiệp có thể khác, nhưng chúng không công khai.
SLA không mua được cho bạn điều gì?
- Bản thân uptime. Tín dụng được trả sau sự cố. Người dùng của bạn vẫn đã gặp sự cố.
- Dung lượng. Throttling (429) nằm ngoài mọi định nghĩa uptime ở trên. Google loại trừ rõ ràng “quotas applied by the system” (bản dịch: quota do hệ thống áp dụng). Xem cách xử lý lỗi 429.
- Tốc độ. Chỉ các hạng provisioned hoặc reserved mới có mục tiêu token mỗi giây. Với traffic tiêu chuẩn, một câu trả lời chậm vẫn là một câu trả lời thành công. Giải thích các chỉ số độ trễ.
- Chất lượng. Một phản hồi 200 với câu trả lời sai không phải downtime ở bất kỳ đâu.
- Nhiều tiền. Tín dụng là một phần hóa đơn tháng của một dịch vụ, thường có trần, và bạn phải tự yêu cầu kèm log của mình.
Xây dựng trên một API không có SLA thế nào?
Phần lớn đội ngũ xây dựng trên API trả theo mức dùng không có SLA. Cách này ổn nếu ứng dụng lường trước lỗi:
- Đặt timeout. Stream các câu trả lời dài và đặt timeout phía client cho từng request, để một lời gọi bị treo thất bại nhanh. Hướng dẫn streaming.
- Retry với backoff và jitter cho 429 và 5XX, và giới hạn số lần retry. Lỗi và retry.
- Cấu hình sẵn một nhà cung cấp thứ hai. Với API tương thích OpenAI, phương án dự phòng là một base URL, key và model ID thứ hai. Cách failover giữa các API LLM.
- Ghi log request ID, thời điểm và mã trạng thái. Bạn cần chúng cho mọi yêu cầu theo SLA, và để thấy tỷ lệ lỗi thực tế của mình.
- Mua hợp đồng ở nơi cần. Nếu uptime là yêu cầu bắt buộc, hãy dùng một hạng của nhà cung cấp có SLA bằng văn bản, hoặc một triển khai riêng với mức dịch vụ đã thỏa thuận. Cần lên kế hoạch gì trước khi dùng endpoint riêng.
BroadNet Inference phù hợp ở đâu
BroadRouter là website của chính BroadNet. API tự phục vụ của BroadNet, cả trả theo mức dùng lẫn các gói, không có SLA. Điều khoản dịch vụ (§7.4) ghi: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (bản dịch: Chúng tôi cố gắng giữ API luôn sẵn sàng và công bố những gì chúng tôi đo được, nhưng gói tự phục vụ không có cam kết về độ sẵn sàng.) Và: “Service levels exist only in a separate written agreement.” (bản dịch: Mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng.) Ở điểm này, Azure, AWS và Google cung cấp nhiều hơn: một mục tiêu uptime bằng văn bản kèm tín dụng. Một key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đồng thời. Mô tả của chính BroadNet về cách họ phục vụ có trong phần cứng GPU và cách phục vụ của BroadNet, mà chúng tôi thuật lại như lời kể của BroadNet, không phải một cam kết.
Nếu khối lượng công việc của bạn chạy được với retry và phương án dự phòng, endpoint tương thích OpenAI của BroadNet là thêm một base URL để cấu hình: https://inference.broadnet.ai/v1. Nếu bạn cần mức dịch vụ theo hợp đồng, hãy hỏi BroadNet về một thỏa thuận bằng văn bản trước khi dựa vào nó. Đọc tài liệu tham chiếu API hoặc tạo tài khoản.
