Format API OpenAI telah menjadi bahasa bersama alatan LLM. Banyak penyedia kini menerimanya, jadi satu pustaka klien boleh berhubung dengan banyak backend.
Cara ia berfungsi
API yang serasi menyalin bahagian OpenAI API yang diperlukan oleh klien:
- laluan yang sama, seperti
/v1/chat/completionsdan/v1/audio/transcriptions; - bentuk JSON yang sama: tatasusunan
messagessebagai input,choices[0].message.contentsebagai output, dan blokusagedengan bilangan token; - kunci API yang dihantar sebagai
Authorization: Bearer <key>; - penstriman sebagai server-sent events apabila
streamialah true.
Bertukar penyedia hanyalah perubahan konfigurasi. Dengan Python SDK rasmi:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
Hanya tiga nilai berubah daripada contoh OpenAI: base URL, kunci dan ID model.
Mengapa ia penting
Keserasian mengurangkan kos bertukar. SDK, rangka kerja ejen, plugin IDE dan router yang menggunakan format OpenAI berfungsi tanpa kod baharu. Anda boleh menguji penyedia kedua dalam beberapa minit dan mengekalkan pilihan untuk berpindah.
Tetapi serasi tidak bermaksud serupa. Contohnya, lapisan keserasian Anthropic sendiri mengabaikan strict pada alatan dan membiarkan prompt_tokens_details kosong. Perbezaan biasa ialah:
- parameter yang diabaikan atau ditolak;
- cara token penaakulan dikira dalam
max_tokens; - sama ada usage dilaporkan pada penghujung strim;
- had kadar dan kod ralat.
Di BroadNet Inference
BroadNet Inference menyediakan POST /v1/chat/completions, POST /v1/audio/transcriptions dan GET /v1/models di https://inference.broadnet.ai/v1. Kunci dihantar hanya sebagai Authorization: Bearer <key>. Panduan Python dan Node menunjukkan persediaan penuh, dan LangChain berfungsi dengan cara yang sama.
Dua perbezaan yang perlu dirancang: DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens. Selain itu, kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Senarai semak migrasi merangkumi selebihnya.
Kesilapan biasa
- Mengekalkan nama model OpenAI seperti
gpt-6-astra(model utama OpenAI di halaman modelnya, disemak 2026-11-15). Gunakan ID model penyedia. - Menganggap sesuatu parameter berfungsi hanya kerana permintaan berjaya. Sesetengah penyedia mengabaikan medan yang tidak dikenali tanpa sebarang amaran.