BroadRouter
Bắt đầu

API tương thích OpenAI (OpenAI-compatible API)

Cập nhật

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

Còn gọi là: API tương thích OpenAI, tương thích OpenAI, API kiểu OpenAI, đổi base_url OpenAI, OpenAI-compatible API, OpenAI API compatible, OpenAI-style API, OpenAI drop-in replacement

Định dạng API của OpenAI đã trở thành ngôn ngữ chung của các công cụ LLM. Nhiều nhà cung cấp hiện chấp nhận định dạng này, nên một thư viện client có thể nói chuyện với nhiều backend.

Cách hoạt động

Một API tương thích sao chép những phần của OpenAI API mà client phụ thuộc vào:

  • cùng các đường dẫn, như /v1/chat/completions và /v1/audio/transcriptions;
  • cùng cấu trúc JSON: mảng messages ở đầu vào, choices[0].message.content ở đầu ra, và khối usage chứa số token;
  • API key gửi dưới dạng Authorization: Bearer <key>;
  • streaming bằng server-sent events khi stream là true.

Chuyển đổi chỉ là thay đổi cấu hình. Với Python SDK chính thức:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

So với một ví dụ của OpenAI, chỉ có ba giá trị thay đổi: base URL, key và model ID.

Vì sao quan trọng

Khả năng tương thích làm giảm chi phí chuyển đổi. SDK, framework agent, plugin IDE và router dùng định dạng OpenAI đều chạy được mà không cần viết code mới. Bạn có thể thử nhà cung cấp thứ hai trong vài phút và giữ khả năng chuyển đi.

Nhưng tương thích không có nghĩa là giống hệt. Ví dụ, chính lớp tương thích của Anthropic bỏ qua strict trên tool và để trống prompt_tokens_details. Những khác biệt thường gặp:

  • tham số bị bỏ qua hoặc bị từ chối;
  • cách token suy luận được tính vào max_tokens;
  • usage có được báo ở cuối stream hay không;
  • giới hạn tần suất và mã lỗi.

Trên BroadNet Inference

BroadNet Inference cung cấp POST /v1/chat/completions, POST /v1/audio/transcriptions và GET /v1/models tại https://inference.broadnet.ai/v1. Key chỉ được gửi dưới dạng Authorization: Bearer <key>. Các hướng dẫn cho Python và Node trình bày cách cài đặt đầy đủ, và LangChain cũng làm theo cách tương tự.

Có hai khác biệt cần tính đến: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Ngoài ra, một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Checklist chuyển đổi đề cập phần còn lại.

Lỗi thường gặp

  • Giữ nguyên tên model của OpenAI như gpt-6-astra (model chủ lực của OpenAI trên trang models của họ, kiểm tra ngày 2026-11-15). Hãy dùng model ID của nhà cung cấp.
  • Cho rằng một tham số hoạt động chỉ vì request thành công. Một số nhà cung cấp lặng lẽ bỏ qua các trường không nhận ra.

Câu hỏi thường gặp

Tương thích OpenAI có nghĩa là mọi tính năng của OpenAI đều chạy được không?

Không. Nó chỉ có nghĩa là cấu trúc request và phản hồi cốt lõi khớp nhau. Từng trường riêng lẻ có thể bị bỏ qua hoặc bị từ chối. Ví dụ, lớp tương thích của Anthropic ghi rõ những trường nó bỏ qua và những trường trả về lỗi 400. Hãy đọc danh sách của nhà cung cấp trước khi dựa vào một tham số.

Tôi có cần SDK khác không?

Không. Các OpenAI SDK chính thức nhận base URL tùy chỉnh. Trong Python truyền base_url, trong Node truyền baseURL, hoặc đặt biến môi trường OPENAI_BASE_URL.

BroadNet Inference hỗ trợ những endpoint nào?

POST /v1/chat/completions cho chat và POST /v1/audio/transcriptions cho chuyển giọng nói thành văn bản. Ngoài ra còn có GET /v1/models; tài liệu của BroadNet mô tả nó là metadata danh mục công khai dành cho các công cụ giám sát bên ngoài, nên hãy lấy model ID dùng trong request từ tài liệu tham chiếu API.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity