Để chọn nhà cung cấp API LLM, hãy chấm điểm từng ứng viên theo sáu mảng: chi phí hằng tháng của khối lượng công việc thật, giới hạn tốc độ và đồng thời, tương thích OpenAI, điều khoản lưu giữ và huấn luyện dữ liệu, các model bạn cần, hỗ trợ và độ tin cậy. Sau đó thử hai ứng viên đứng đầu với một tuần traffic thật. Bên dưới là 20 câu hỏi, một bảng chấm điểm và kế hoạch thử nghiệm.
Khi đã chọn xong, checklist chuyển đổi bao quát việc chuyển đổi, còn cách đánh giá LLM trước khi chuyển đổi đi sâu vào kiểm thử chất lượng.
Chi phí thực tế là bao nhiêu? (câu 1 đến 4)
- Khối lượng công việc thật của tôi tốn bao nhiêu mỗi tháng? Tính riêng đầu vào, đầu vào được cache và đầu ra; công cụ tính chi phí API LLM miễn phí làm việc này theo từng model. Agent gửi lại cùng một context, nên đầu vào được cache thường chiếm phần lớn. Bài giải thích về giá đi qua từng hạng mục.
- Token suy luận có bị tính như đầu ra không? Model suy luận có thể tốn nhiều token để suy nghĩ hơn là để trả lời.
- Có lựa chọn giá cố định không? Với agent chạy liên tục, gói giá cố định có thể rẻ hơn tính phí theo token. Xem phép tính điểm hòa vốn.
- Giá có ở dạng máy đọc được và có ghi ngày không? Một tệp giá JSON giúp bạn theo dõi thay đổi và dựng cảnh báo chi phí.
Bộ dữ liệu mở về gói miễn phí và giới hạn tốc độ của API LLM của chúng tôi so sánh những gì 14 nhà cung cấp công bố về truy cập miễn phí, giới hạn tốc độ ban đầu, yêu cầu thẻ và việc dùng dữ liệu gói miễn phí để huấn luyện, mỗi giá trị đều kèm nguồn và ngày.
Bạn sẽ chạm giới hạn nào trước? (câu 5 đến 7)
- Giới hạn request mỗi phút và giới hạn đồng thời là bao nhiêu? Đồng thời (số request đang xử lý) mới là thứ làm đình trệ agent chạy song song và job batch. Xem giới hạn tốc độ và đồng thời, và đối chiếu traffic với giới hạn bằng công cụ tính giới hạn tốc độ.
- Có trần token, cửa sổ trượt hay hạn mức hằng tuần không? Các gói “không giới hạn” thường có. Hãy đọc không giới hạn thực sự nghĩa là gì.
- Context window là bao nhiêu, và có bị cắt bớt không? Kiểm tra mức tối đa thật cho mỗi request, và xem nhà cung cấp có âm thầm cắt prompt dài hay không.
Mức độ tương thích với code của bạn ra sao? (câu 8 đến 10)
- Có tương thích OpenAI không, và đến mức nào? Đổi base URL là phải chạy được. Sau đó kiểm thử streaming kèm usage, tool call, structured output và mã lỗi. Checklist chuyển đổi liệt kê những gì hay hỏng.
- Có chạy được với công cụ của tôi không? SDK, framework agent, trợ lý trong IDE. Xem hướng dẫn tích hợp của nhà cung cấp.
- Model ID có ổn định không? Bạn cần ID có phiên bản và được báo trước khi một model ngừng hoạt động.
Dữ liệu của bạn được xử lý thế nào? (câu 11 đến 13)
- Prompt và đầu ra có được lưu không, và lưu bao lâu? Nhiều nhà cung cấp mặc định giữ nội dung API tới 30 ngày. So sánh câu chữ chính thức trong so sánh chính sách lưu giữ dữ liệu API LLM.
- Dữ liệu của tôi có bị dùng để huấn luyện không? Kiểm tra mặc định cho gói của bạn, bằng văn bản.
- Tôi có ký được DPA, xem danh sách bên xử lý phụ và giới hạn key không? Dùng checklist GDPR nếu bạn xử lý dữ liệu cá nhân ở EU, và yêu cầu danh sách IP được phép.
Có đủ các model bạn cần không? (câu 14 đến 16)
- Nhà cung cấp có kích cỡ model và năng lực tôi cần không? Vision, tool call, suy luận, context dài, giọng nói.
- Mỗi model làm tác vụ của tôi tốt đến đâu? Dựng 30 đến 50 test case thật và chấm điểm. Benchmark chỉ là bộ lọc đầu tiên; nơi so sánh LLM liệt kê các bảng xếp hạng và thứ mỗi bảng đo. Hướng dẫn đánh giá chỉ cách dựng bộ test và tránh thiên lệch của model chấm điểm.
- Trọng số mở hay đóng? Model trọng số mở có thể được nhiều nhà cung cấp host, giảm rủi ro bị khóa chặt. Xem model trọng số mở và model đóng.
Dịch vụ có ổn định không, và ai trả lời bạn? (câu 17 đến 20)
- Có trang trạng thái và lịch sử sự cố không?
- Có SLA bằng văn bản cho production không?
- Ai vận hành GPU? Phần cứng riêng, đám mây, hay dung lượng bán lại từ một API khác. Mỗi lựa chọn thêm một bên vào đường đi của dữ liệu và độ tin cậy.
- Làm sao liên hệ được với người thật? Thời gian phản hồi, kênh liên lạc, và việc bộ phận hỗ trợ có xem được nội dung request của bạn hay không.
Chấm điểm để so sánh các nhà cung cấp như thế nào?
Chấm mỗi câu 0 (không hoặc không rõ), 1 (một phần) hoặc 2 (có, bằng văn bản). Đặt trọng số cho các nhóm theo trường hợp sử dụng của bạn:
| Nhóm | Câu hỏi | Trọng số cho agent | Trọng số cho ứng dụng chịu quản lý |
|---|---|---|---|
| Giá | 1 đến 4 | Cao | Trung bình |
| Giới hạn | 5 đến 7 | Cao | Trung bình |
| Tương thích | 8 đến 10 | Trung bình | Trung bình |
| Quyền riêng tư | 11 đến 13 | Trung bình | Cao |
| Model | 14 đến 16 | Cao | Cao |
| Hỗ trợ và độ tin cậy | 17 đến 20 | Trung bình | Cao |
“Không rõ” được 0 điểm là có lý do: nếu nhà cung cấp không trả lời được, bạn không thể dựa vào họ.
Thử một nhà cung cấp trong một tuần như thế nào?
- Chọn hai nhà cung cấp đứng đầu từ bảng chấm điểm.
- Chuyển một phần traffic thật tới mỗi bên qua cùng OpenAI SDK, với model ID và base URL trong cấu hình.
- Ghi lại cho mỗi request: model, prompt token, cached token, completion token, độ trễ, mã trạng thái. Không bao giờ ghi nội dung.
- Tạo đỉnh tải: chạy job batch hoặc agent song song, và theo dõi lỗi 429. Hướng dẫn lỗi và thử lại chỉ cách back-off đúng.
- Nhân số token của tuần với khoảng 4,3 và tính giá một tháng cho mỗi nhà cung cấp.
- Chấm điểm đầu ra trên bộ test của bạn.
BroadNet Inference trả lời checklist thế nào
| # | BroadNet Inference |
|---|---|
| 1, 4 | Giá theo token công bố trong pricing.json, đồng bộ 2026-11-14 |
| 3 | Gói giá cố định cho DeepSeek V4.1 Flash: $60 mỗi tháng, $15 mỗi tuần hoặc $1 mỗi giờ cho mỗi phiên |
| 5 | Trả theo mức dùng: 30 request mỗi phút, 4 request đang xử lý; phiên của gói chạy một request tại một thời điểm |
| 6 | Gói: không đếm token, không cửa sổ trượt, không trần hằng tuần |
| 7 | Tới 1.048.576 token với DeepSeek V4.1 Flash và GLM 5.3; trang gói nói context không bao giờ bị cắt |
| 8 | Tương thích OpenAI tại https://inference.broadnet.ai/v1 |
| 11, 12 | Không lưu prompt hay đầu ra; không dùng để huấn luyện, fine-tune hay đánh giá model |
| 13 | Danh sách IP được phép tới 32 mục; danh sách bên xử lý phụ khi được yêu cầu; hỏi để có DPA |
| 14 | Bốn model chat cùng hai model chuyển giọng nói thành văn bản |
| 19 | Tuyên bố quyền riêng tư của BroadNet nói các model open-weight của chính họ và được host chạy trên phần cứng tại Mỹ do BroadNet sở hữu hoặc thuê, với dung lượng đối tác làm dự phòng; các model do đối tác phục vụ như DeepSeek V4.1 Flash chạy với đối tác inference tại Mỹ theo điều khoản không lưu giữ dữ liệu (ZDR) |
Những gì chúng tôi không tìm thấy trong tài liệu hay trang gói của BroadNet (kiểm tra ngày 14/11/2026): SLA, trang trạng thái hay chính sách ngừng hỗ trợ model. Hãy hỏi nếu bạn cần, và giữ một nhà cung cấp thứ hai cho các luồng quan trọng. Danh mục model cũng nhỏ hơn một bên tổng hợp: nếu bạn cần model GPT, Claude hay Gemini, BroadNet không phải nhà cung cấp cho traffic đó. Tín dụng ban đầu $5 đủ cho bước 3 của kế hoạch thử nghiệm với khối lượng nhẹ, nhưng trong các model chat thì chỉ dùng được cho Gemma 4 VL 26B (tín dụng này cũng dùng được cho hai model Transcribe); các model chat khác cần nạp tiền.

