BroadRouter
Mulakan

API serasi OpenAI (OpenAI-compatible API)

Dikemas kini

API serasi OpenAI ialah API HTTP yang menerima format permintaan dan respons yang sama seperti OpenAI API, contohnya POST /v1/chat/completions, jadi SDK dan alat OpenAI boleh menggunakannya dengan hanya menukar base URL, kunci API dan nama model.

Juga dikenali sebagai: API serasi OpenAI, serasi dengan OpenAI, OpenAI-compatible API, OpenAI API compatible, OpenAI-style API, OpenAI drop-in replacement

Format API OpenAI telah menjadi bahasa bersama alatan LLM. Banyak penyedia kini menerimanya, jadi satu pustaka klien boleh berhubung dengan banyak backend.

Cara ia berfungsi

API yang serasi menyalin bahagian OpenAI API yang diperlukan oleh klien:

  • laluan yang sama, seperti /v1/chat/completions dan /v1/audio/transcriptions;
  • bentuk JSON yang sama: tatasusunan messages sebagai input, choices[0].message.content sebagai output, dan blok usage dengan bilangan token;
  • kunci API yang dihantar sebagai Authorization: Bearer <key>;
  • penstriman sebagai server-sent events apabila stream ialah true.

Bertukar penyedia hanyalah perubahan konfigurasi. Dengan Python SDK rasmi:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

Hanya tiga nilai berubah daripada contoh OpenAI: base URL, kunci dan ID model.

Mengapa ia penting

Keserasian mengurangkan kos bertukar. SDK, rangka kerja ejen, plugin IDE dan router yang menggunakan format OpenAI berfungsi tanpa kod baharu. Anda boleh menguji penyedia kedua dalam beberapa minit dan mengekalkan pilihan untuk berpindah.

Tetapi serasi tidak bermaksud serupa. Contohnya, lapisan keserasian Anthropic sendiri mengabaikan strict pada alatan dan membiarkan prompt_tokens_details kosong. Perbezaan biasa ialah:

  • parameter yang diabaikan atau ditolak;
  • cara token penaakulan dikira dalam max_tokens;
  • sama ada usage dilaporkan pada penghujung strim;
  • had kadar dan kod ralat.

Di BroadNet Inference

BroadNet Inference menyediakan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models di https://inference.broadnet.ai/v1. Kunci dihantar hanya sebagai Authorization: Bearer <key>. Panduan Python dan Node menunjukkan persediaan penuh, dan LangChain berfungsi dengan cara yang sama.

Dua perbezaan yang perlu dirancang: DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens. Selain itu, kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Senarai semak migrasi merangkumi selebihnya.

Kesilapan biasa

  • Mengekalkan nama model OpenAI seperti gpt-6-astra (model utama OpenAI di halaman modelnya, disemak 2026-11-15). Gunakan ID model penyedia.
  • Menganggap sesuatu parameter berfungsi hanya kerana permintaan berjaya. Sesetengah penyedia mengabaikan medan yang tidak dikenali tanpa sebarang amaran.

Soalan lazim

Adakah serasi OpenAI bermaksud setiap ciri OpenAI berfungsi?

Tidak. Ia bermaksud bentuk teras permintaan dan respons adalah sepadan. Medan tertentu mungkin diabaikan atau ditolak. Contohnya, lapisan keserasian Anthropic mendokumenkan medan yang diabaikannya dan medan yang memulangkan ralat 400. Baca senarai penyedia sebelum anda bergantung pada sesuatu parameter.

Adakah saya memerlukan SDK lain?

Tidak. SDK OpenAI rasmi menerima base URL tersuai. Dalam Python, hantar base_url; dalam Node, hantar baseURL; atau tetapkan pembolehubah persekitaran OPENAI_BASE_URL.

Endpoint manakah yang disokong oleh BroadNet Inference?

POST /v1/chat/completions untuk chat dan POST /v1/audio/transcriptions untuk speech-to-text. GET /v1/models juga wujud; dokumentasi BroadNet menggambarkannya sebagai metadata katalog awam untuk pemantau luaran, jadi ambil ID model untuk permintaan daripada rujukan API.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity