BroadRouter
Mulai

Pindah ke API kompatibel OpenAI: checklist migrasi

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Untuk pindah ke API kompatibel OpenAI, ganti tiga pengaturan (base_url, api_key, dan model), lalu periksa apa yang berbeda: ID model, cara token penalaran dihitung ke max_tokens, cara streaming melaporkan usage, error mana yang perlu di-retry, rate limit, dan keamanan kunci. Untuk BroadNet Inference, base URL-nya https://inference.broadnet.ai/v1.

Sebagian besar penyedia LLM kini memakai format API OpenAI. Itu membuat pindah penyedia terlihat seperti perubahan satu baris, dan untuk mendapatkan jawaban pertama memang begitu. Untuk menjalankan trafik produksi, kerjakan daftar ini sampai tuntas. Setiap butir berasal dari cara nyata migrasi gagal.

0. Apa yang dipakai aplikasi Anda saat ini?

Sebelum mengubah apa pun, catat apa saja yang menjadi ketergantungan aplikasi Anda. Cari setiap panggilan ke SDK di kode dan daftarkan. Jika Anda memanggil API Whisper OpenAI, perhatikan bahwa OpenAI mencantumkan whisper-1 akan dihentikan pada 26 Februari 2027; alternatif API Whisper membahas sisi audionya.

Fitur Tempat mencari Uji setelah pindah
Chat completions Setiap chat.completions.create Prompt yang sama, bandingkan jawaban
Streaming stream=True Chunk masuk, diakhiri [DONE], usage ada
Tool calling tools= Tool call ter-parse dan berjalan
Output terstruktur response_format= JSON lolos validasi skema Anda
Gambar Bagian gambar dalam pesan Model menerimanya
Transkripsi audio audio.transcriptions Teks dan bahasa benar
Embeddings, file, batch Endpoint lain Pastikan penyedia memang menawarkannya

Baris terakhir itu penting. “Kompatibel OpenAI” biasanya mencakup chat completions lebih dulu. Katalog BroadNet Inference mencantumkan model chat di /v1/chat/completions dan model speech-to-text di /v1/audio/transcriptions; jika Anda memakai endpoint lain, biarkan di penyedia Anda saat ini atau cari penggantinya.

1. Tiga pengaturan apa yang berubah?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Nama pengaturan base URL berbeda per library: base_url di Python SDK dan ChatOpenAI dari LangChain, baseURL di Node.js SDK. Menurut README-nya, Python SDK juga membaca environment variable OPENAI_BASE_URL. Periksa apakah ada nilai lama di environment Anda, karena jika ada, permintaan bisa terkirim ke penyedia lama tanpa error.

Simpan kunci API di environment variable atau secret manager, jangan pernah di kode. Pengaturan untuk tiap SDK: Python, Node.js, LangChain. Untuk menyusun dan menguji permintaan pertama secara manual, pakai API request builder. Untuk menerapkan perubahan base URL, kunci, dan model ke kode yang sudah ada, tempelkan kodenya ke alat bantu migrasi OpenAI ke BroadNet, yang juga mendaftar apa saja yang perlu dicek.

2. Apa ID model yang baru?

Setiap penyedia menamai model dengan caranya sendiri. Di BroadNet Inference:

Model ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Taruh ID model di konfigurasi, bukan di kode, supaya penggantian berikutnya cukup dengan deploy, bukan menulis ulang. Batas dan harga tiap model ada di halamannya: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 VL 26B.

3. Kenapa jawaban kosong setelah pindah?

Ini kejutan yang paling umum. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan token penalaran dihitung ke max_tokens. Batas 256 yang dulu cukup di model non-penalaran bisa habis seluruhnya untuk berpikir, sehingga jawabannya kosong. Sisakan 1.000 token atau lebih, atau set reasoning_effort ke low untuk tugas sederhana. Penjelasan lengkap.

4. Apakah streaming masih melaporkan usage?

Streaming memakai Server-Sent Events dan diakhiri data: [DONE]. Usage token muncul di chunk terakhir hanya jika Anda memintanya:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Tanpa itu, dashboard biaya Anda menunjukkan nol. Jika stream berakhir sebelum [DONE], anggap tidak lengkap. Panduan streaming.

5. Error mana yang perlu di-retry?

Status Arti Tindakan
401 Kunci salah atau dicabut, atau jatah bayar sesuai pemakaian habis Perbaiki, jangan retry
402 Saldo atau anggaran Top up, jangan retry
403 Ditolak oleh kebijakan model, rute, atau IP Perbaiki ketidakcocokannya
413 Permintaan terlalu besar Perkecil, jangan retry
429 Batas laju, konkurensi, atau pengeluaran Backoff lalu retry
5xx Sisi server Retry dengan backoff yang dibatasi

Python SDK resmi sudah me-retry sebagian error: README-nya menyebut error koneksi, 408, 409, 429, dan respons 5xx di-retry dua kali secara default dengan exponential backoff singkat. Set max_retries secara eksplisit supaya perilakunya merupakan keputusan, bukan sekadar default. Catat request ID dari setiap respons agar tim dukungan bisa menelusuri masalah. Semua kode.

6. Apa rate limit yang baru?

Ketahui batas baru sebelum trafik datang. Kunci bayar sesuai pemakaian di BroadNet mengizinkan 30 permintaan per menit dan 4 permintaan berjalan sekaligus. Paket unlimited menjalankan satu permintaan dalam satu waktu per sesi. Sesuaikan ukuran worker pool Anda, atau Anda akan melihat 429 di hari pertama; kalkulator rate limit membantu menghitungnya. Menyesuaikan kapasitas untuk agen paralel.

7. Apakah prompt Anda masih muat?

Periksa context window: 1.048.576 token di DeepSeek V4.1 Flash dan GLM 5.3, 262.144 di Qwen3.8 27B, 32.768 di Gemma 4 VL 26B. Prompt yang muat di model lama belum tentu muat di jendela yang lebih kecil; cek dengan kalkulator context window. Letakkan konten prompt yang stabil di depan agar mendapat harga input cache.

8. Bagaimana dengan kunci dan retensi data?

Batasi kunci produksi hanya untuk IP server Anda dengan IP allow-list. Tanyakan kepada penyedia baru apa yang mereka simpan; lihat checklist ZDR.

9. Bagaimana beralih dengan aman?

  1. Kirim salinan permintaan nyata selama sehari ke kedua penyedia.
  2. Bandingkan jawaban pada sampel, ditambah latensi, error, dan biaya per permintaan.
  3. Pindahkan 10% trafik, pantau selama sehari, lalu pindahkan sisanya.
  4. Biarkan penyedia lama tetap terkonfigurasi sebagai fallback selama seminggu.

Jika Anda menjalankan banyak layanan, proxy seperti LiteLLM memungkinkan Anda mengganti penyedia di satu tempat, bukan di setiap aplikasi.

Apa saja kesalahan migrasi yang umum?

  • /v1 tidak ada di base URL. Permintaan mengembalikan 404. Pakai URL lengkap.
  • Nama model lama di konfigurasi. Penyedia baru tidak mengenalinya.
  • Field khusus penyedia tertinggal di permintaan. Field yang hanya dipahami penyedia lama bisa ditolak atau diabaikan. Hapus dari client generik.
  • Hanya menguji satu prompt. Jalankan inventaris dari langkah 0, fitur demi fitur.
  • Beralih di hari Jumat. Sisakan waktu untuk memantau trafik nyata selama satu hari penuh.

Posisi BroadNet Inference

BroadNet Inference adalah target pengganti langsung (drop-in) bagi aplikasi yang memakai chat completions dan transkripsi audio lewat SDK OpenAI: ganti tiga pengaturan lalu kerjakan daftar di atas. Katalognya hanya mencantumkan model chat dan speech-to-text, jadi jika Anda bergantung pada endpoint lain seperti embeddings atau penyimpanan file, biarkan itu di penyedia lain. Akun baru dimulai dengan kredit $5. Dari model chat, hanya Gemma 4 VL 26B yang bisa dipakai dengan kredit ini (kredit ini juga mencakup kedua model Transcribe), jadi uji bayangan (shadow test) pada DeepSeek, GLM, atau Qwen perlu isi ulang saldo.

Pertanyaan umum

Apakah saya perlu SDK yang berbeda?

Tidak. SDK OpenAI resmi untuk Python dan Node.js menerima base URL kustom. Framework yang dibangun di atasnya, seperti ChatOpenAI dari LangChain, juga menerimanya.

Bagaimana cara mengganti base URL di SDK OpenAI?

Berikan base_url ke client di Python atau baseURL di Node.js, atau set environment variable OPENAI_BASE_URL. Untuk BroadNet Inference nilainya https://inference.broadnet.ai/v1, dan kuncinya diisi di api_key.

Kenapa saya mendapat respons kosong setelah pindah?

Model penalaran seperti DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B berpikir dulu sebelum menjawab, dan proses berpikir itu dihitung ke max_tokens. Naikkan max_tokens ke 1.000 atau lebih, atau set reasoning_effort ke low.

Kenapa muncul error 404 atau model not found setelah pindah?

Biasanya ID model masih memakai nama dari penyedia lama, atau base URL tidak menyertakan path /v1. Pakai ID model persis dari penyedia baru dan base URL lengkap.

Error mana yang perlu saya retry?

Retry 429 dan 5xx dengan exponential backoff yang dibatasi. Perbaiki 401, 402, dan 413 sebelum mencoba lagi. Panduan error di situs ini mencantumkan setiap kode.

Apakah kompatibel OpenAI berarti identik?

Tidak. Bentuk request dan respons sama, tetapi ID model, parameter yang didukung, batas, field usage, dan detail error bisa berbeda. Uji setiap fitur yang dipakai aplikasi Anda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity