Sebagian besar penyedia LLM kini memakai format API OpenAI. Itu membuat pindah penyedia terlihat seperti perubahan satu baris, dan untuk mendapatkan jawaban pertama memang begitu. Untuk menjalankan trafik produksi, kerjakan daftar ini sampai tuntas. Setiap butir berasal dari cara nyata migrasi gagal.
0. Apa yang dipakai aplikasi Anda saat ini?
Sebelum mengubah apa pun, catat apa saja yang menjadi ketergantungan aplikasi Anda. Cari setiap panggilan ke SDK di kode dan daftarkan. Jika Anda memanggil API Whisper OpenAI, perhatikan bahwa OpenAI mencantumkan whisper-1 akan dihentikan pada 26 Februari 2027; alternatif API Whisper membahas sisi audionya.
| Fitur | Tempat mencari | Uji setelah pindah |
|---|---|---|
| Chat completions | Setiap chat.completions.create |
Prompt yang sama, bandingkan jawaban |
| Streaming | stream=True |
Chunk masuk, diakhiri [DONE], usage ada |
| Tool calling | tools= |
Tool call ter-parse dan berjalan |
| Output terstruktur | response_format= |
JSON lolos validasi skema Anda |
| Gambar | Bagian gambar dalam pesan | Model menerimanya |
| Transkripsi audio | audio.transcriptions |
Teks dan bahasa benar |
| Embeddings, file, batch | Endpoint lain | Pastikan penyedia memang menawarkannya |
Baris terakhir itu penting. “Kompatibel OpenAI” biasanya mencakup chat completions lebih dulu. Katalog BroadNet Inference mencantumkan model chat di /v1/chat/completions dan model speech-to-text di /v1/audio/transcriptions; jika Anda memakai endpoint lain, biarkan di penyedia Anda saat ini atau cari penggantinya.
1. Tiga pengaturan apa yang berubah?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Nama pengaturan base URL berbeda per library: base_url di Python SDK dan ChatOpenAI dari LangChain, baseURL di Node.js SDK. Menurut README-nya, Python SDK juga membaca environment variable OPENAI_BASE_URL. Periksa apakah ada nilai lama di environment Anda, karena jika ada, permintaan bisa terkirim ke penyedia lama tanpa error.
Simpan kunci API di environment variable atau secret manager, jangan pernah di kode. Pengaturan untuk tiap SDK: Python, Node.js, LangChain. Untuk menyusun dan menguji permintaan pertama secara manual, pakai API request builder. Untuk menerapkan perubahan base URL, kunci, dan model ke kode yang sudah ada, tempelkan kodenya ke alat bantu migrasi OpenAI ke BroadNet, yang juga mendaftar apa saja yang perlu dicek.
2. Apa ID model yang baru?
Setiap penyedia menamai model dengan caranya sendiri. Di BroadNet Inference:
| Model | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Taruh ID model di konfigurasi, bukan di kode, supaya penggantian berikutnya cukup dengan deploy, bukan menulis ulang. Batas dan harga tiap model ada di halamannya: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 VL 26B.
3. Kenapa jawaban kosong setelah pindah?
Ini kejutan yang paling umum. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan token penalaran dihitung ke max_tokens. Batas 256 yang dulu cukup di model non-penalaran bisa habis seluruhnya untuk berpikir, sehingga jawabannya kosong. Sisakan 1.000 token atau lebih, atau set reasoning_effort ke low untuk tugas sederhana. Penjelasan lengkap.
4. Apakah streaming masih melaporkan usage?
Streaming memakai Server-Sent Events dan diakhiri data: [DONE]. Usage token muncul di chunk terakhir hanya jika Anda memintanya:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Tanpa itu, dashboard biaya Anda menunjukkan nol. Jika stream berakhir sebelum [DONE], anggap tidak lengkap. Panduan streaming.
5. Error mana yang perlu di-retry?
| Status | Arti | Tindakan |
|---|---|---|
| 401 | Kunci salah atau dicabut, atau jatah bayar sesuai pemakaian habis | Perbaiki, jangan retry |
| 402 | Saldo atau anggaran | Top up, jangan retry |
| 403 | Ditolak oleh kebijakan model, rute, atau IP | Perbaiki ketidakcocokannya |
| 413 | Permintaan terlalu besar | Perkecil, jangan retry |
| 429 | Batas laju, konkurensi, atau pengeluaran | Backoff lalu retry |
| 5xx | Sisi server | Retry dengan backoff yang dibatasi |
Python SDK resmi sudah me-retry sebagian error: README-nya menyebut error koneksi, 408, 409, 429, dan respons 5xx di-retry dua kali secara default dengan exponential backoff singkat. Set max_retries secara eksplisit supaya perilakunya merupakan keputusan, bukan sekadar default. Catat request ID dari setiap respons agar tim dukungan bisa menelusuri masalah. Semua kode.
6. Apa rate limit yang baru?
Ketahui batas baru sebelum trafik datang. Kunci bayar sesuai pemakaian di BroadNet mengizinkan 30 permintaan per menit dan 4 permintaan berjalan sekaligus. Paket unlimited menjalankan satu permintaan dalam satu waktu per sesi. Sesuaikan ukuran worker pool Anda, atau Anda akan melihat 429 di hari pertama; kalkulator rate limit membantu menghitungnya. Menyesuaikan kapasitas untuk agen paralel.
7. Apakah prompt Anda masih muat?
Periksa context window: 1.048.576 token di DeepSeek V4.1 Flash dan GLM 5.3, 262.144 di Qwen3.8 27B, 32.768 di Gemma 4 VL 26B. Prompt yang muat di model lama belum tentu muat di jendela yang lebih kecil; cek dengan kalkulator context window. Letakkan konten prompt yang stabil di depan agar mendapat harga input cache.
8. Bagaimana dengan kunci dan retensi data?
Batasi kunci produksi hanya untuk IP server Anda dengan IP allow-list. Tanyakan kepada penyedia baru apa yang mereka simpan; lihat checklist ZDR.
9. Bagaimana beralih dengan aman?
- Kirim salinan permintaan nyata selama sehari ke kedua penyedia.
- Bandingkan jawaban pada sampel, ditambah latensi, error, dan biaya per permintaan.
- Pindahkan 10% trafik, pantau selama sehari, lalu pindahkan sisanya.
- Biarkan penyedia lama tetap terkonfigurasi sebagai fallback selama seminggu.
Jika Anda menjalankan banyak layanan, proxy seperti LiteLLM memungkinkan Anda mengganti penyedia di satu tempat, bukan di setiap aplikasi.
Apa saja kesalahan migrasi yang umum?
/v1tidak ada di base URL. Permintaan mengembalikan 404. Pakai URL lengkap.- Nama model lama di konfigurasi. Penyedia baru tidak mengenalinya.
- Field khusus penyedia tertinggal di permintaan. Field yang hanya dipahami penyedia lama bisa ditolak atau diabaikan. Hapus dari client generik.
- Hanya menguji satu prompt. Jalankan inventaris dari langkah 0, fitur demi fitur.
- Beralih di hari Jumat. Sisakan waktu untuk memantau trafik nyata selama satu hari penuh.
Posisi BroadNet Inference
BroadNet Inference adalah target pengganti langsung (drop-in) bagi aplikasi yang memakai chat completions dan transkripsi audio lewat SDK OpenAI: ganti tiga pengaturan lalu kerjakan daftar di atas. Katalognya hanya mencantumkan model chat dan speech-to-text, jadi jika Anda bergantung pada endpoint lain seperti embeddings atau penyimpanan file, biarkan itu di penyedia lain. Akun baru dimulai dengan kredit $5. Dari model chat, hanya Gemma 4 VL 26B yang bisa dipakai dengan kredit ini (kredit ini juga mencakup kedua model Transcribe), jadi uji bayangan (shadow test) pada DeepSeek, GLM, atau Qwen perlu isi ulang saldo.
