Format API OpenAI menjadi bahasa bersama tooling LLM. Kini banyak penyedia menerimanya, sehingga satu library client bisa berbicara dengan banyak backend.
Cara kerjanya
API yang kompatibel meniru bagian API OpenAI yang diandalkan client:
- path yang sama, seperti
/v1/chat/completionsdan/v1/audio/transcriptions; - format JSON yang sama: array
messagessebagai input,choices[0].message.contentsebagai output, dan blokusageberisi jumlah token; - kunci API yang dikirim sebagai
Authorization: Bearer <key>; - streaming sebagai server-sent events ketika
streambernilai true.
Berpindah cukup dengan mengubah konfigurasi. Dengan Python SDK resmi:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
Dibanding contoh OpenAI, hanya tiga nilai yang berubah: base URL, kunci, dan ID model.
Kenapa ini penting
Kompatibilitas menurunkan biaya berpindah. SDK, framework agen, plugin IDE, dan router yang memakai format OpenAI langsung berfungsi tanpa kode baru. Anda bisa menguji penyedia kedua dalam hitungan menit dan tetap punya opsi untuk pindah.
Tetapi kompatibel tidak sama dengan identik. Lapisan kompatibilitas Anthropic sendiri, misalnya, mengabaikan strict pada tools dan membiarkan prompt_tokens_details kosong. Perbedaan yang umum:
- parameter yang diabaikan atau ditolak;
- cara token penalaran dihitung dalam
max_tokens; - apakah usage dilaporkan di akhir stream;
- rate limit dan kode error.
Di BroadNet Inference
BroadNet Inference melayani POST /v1/chat/completions, POST /v1/audio/transcriptions, dan GET /v1/models di https://inference.broadnet.ai/v1. Kunci hanya dikirim sebagai Authorization: Bearer <key>. Panduan Python dan Node menunjukkan penyiapan lengkapnya, dan LangChain bekerja dengan cara yang sama.
Ada dua perbedaan yang perlu diantisipasi: DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran itu dihitung dalam max_tokens. Selain itu, kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan sekaligus. Checklist migrasi membahas sisanya.
Kesalahan umum
- Tetap memakai nama model OpenAI seperti
gpt-6-astra(model andalan OpenAI di halaman model-nya, diperiksa 2026-11-15). Gunakan ID model dari penyedia. - Menganggap sebuah parameter berfungsi hanya karena permintaannya berhasil. Sebagian penyedia mengabaikan field yang tidak dikenal tanpa pemberitahuan.