Định dạng API của OpenAI đã trở thành ngôn ngữ chung của các công cụ LLM. Nhiều nhà cung cấp hiện chấp nhận định dạng này, nên một thư viện client có thể nói chuyện với nhiều backend.
Cách hoạt động
Một API tương thích sao chép những phần của OpenAI API mà client phụ thuộc vào:
- cùng các đường dẫn, như
/v1/chat/completionsvà/v1/audio/transcriptions; - cùng cấu trúc JSON: mảng
messagesở đầu vào,choices[0].message.contentở đầu ra, và khốiusagechứa số token; - API key gửi dưới dạng
Authorization: Bearer <key>; - streaming bằng server-sent events khi
streamlà true.
Chuyển đổi chỉ là thay đổi cấu hình. Với Python SDK chính thức:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
So với một ví dụ của OpenAI, chỉ có ba giá trị thay đổi: base URL, key và model ID.
Vì sao quan trọng
Khả năng tương thích làm giảm chi phí chuyển đổi. SDK, framework agent, plugin IDE và router dùng định dạng OpenAI đều chạy được mà không cần viết code mới. Bạn có thể thử nhà cung cấp thứ hai trong vài phút và giữ khả năng chuyển đi.
Nhưng tương thích không có nghĩa là giống hệt. Ví dụ, chính lớp tương thích của Anthropic bỏ qua strict trên tool và để trống prompt_tokens_details. Những khác biệt thường gặp:
- tham số bị bỏ qua hoặc bị từ chối;
- cách token suy luận được tính vào
max_tokens; - usage có được báo ở cuối stream hay không;
- giới hạn tần suất và mã lỗi.
Trên BroadNet Inference
BroadNet Inference cung cấp POST /v1/chat/completions, POST /v1/audio/transcriptions và GET /v1/models tại https://inference.broadnet.ai/v1. Key chỉ được gửi dưới dạng Authorization: Bearer <key>. Các hướng dẫn cho Python và Node trình bày cách cài đặt đầy đủ, và LangChain cũng làm theo cách tương tự.
Có hai khác biệt cần tính đến: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Ngoài ra, một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Checklist chuyển đổi đề cập phần còn lại.
Lỗi thường gặp
- Giữ nguyên tên model của OpenAI như
gpt-6-astra(model chủ lực của OpenAI trên trang models của họ, kiểm tra ngày 2026-11-15). Hãy dùng model ID của nhà cung cấp. - Cho rằng một tham số hoạt động chỉ vì request thành công. Một số nhà cung cấp lặng lẽ bỏ qua các trường không nhận ra.