Kebanyakan penyedia LLM kini menggunakan format API OpenAI. Ini membuatkan peralihan kelihatan seperti perubahan satu baris, dan untuk mendapatkan jawapan pertama, memang begitu. Untuk menjalankan trafik pengeluaran, ikuti senarai ini. Setiap item datang daripada cara sebenar migrasi gagal.
0. Apakah yang digunakan oleh aplikasi anda hari ini?
Sebelum anda menukar apa-apa, catat apa yang menjadi kebergantungan aplikasi anda. Cari dalam kod setiap panggilan kepada SDK dan senaraikannya. Jika anda memanggil API Whisper OpenAI, ambil perhatian bahawa OpenAI menyenaraikan whisper-1 sebagai akan ditutup pada 26 Februari 2027; alternatif API Whisper merangkumi bahagian audio.
| Ciri | Tempat untuk dicari | Uji selepas beralih |
|---|---|---|
| Chat completions | Setiap chat.completions.create |
Prompt yang sama, bandingkan jawapan |
| Penstriman | stream=True |
Cebisan tiba, berakhir dengan [DONE], data penggunaan ada |
| Panggilan alat | tools= |
Panggilan alat dihurai dan dijalankan |
| Output berstruktur | response_format= |
JSON lulus pengesahan skema anda |
| Imej | Bahagian imej dalam messages | Model menerimanya |
| Transkripsi audio | audio.transcriptions |
Teks dan bahasa betul |
| Embeddings, fail, batch | Endpoint lain | Semak sama ada penyedia menawarkannya langsung |
Baris terakhir itu penting. “Serasi OpenAI” biasanya meliputi chat completions dahulu. Katalog BroadNet Inference menyenaraikan model chat pada /v1/chat/completions dan model speech-to-text pada /v1/audio/transcriptions; jika anda menggunakan endpoint lain, kekalkannya pada penyedia semasa anda atau cari pengganti.
1. Tiga tetapan manakah yang berubah?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Nama tetapan base URL berbeza mengikut pustaka: base_url dalam SDK Python dan ChatOpenAI LangChain, baseURL dalam SDK Node.js. SDK Python juga membaca pembolehubah persekitaran OPENAI_BASE_URL, menurut READMEnya. Semak sama ada terdapat nilai lama dalam persekitaran anda, jika tidak permintaan boleh pergi ke penyedia lama tanpa sebarang ralat.
Simpan kunci API dalam pembolehubah persekitaran atau pengurus rahsia, jangan sekali-kali dalam kod. Persediaan untuk setiap SDK: Python, Node.js, LangChain. Untuk membina dan menguji permintaan pertama secara manual, gunakan pembina permintaan API. Untuk menggunakan perubahan base URL, kunci dan model pada kod sedia ada, tampalkannya ke dalam pembantu migrasi OpenAI ke BroadNet, yang juga menyenaraikan perkara yang perlu disemak.
2. Apakah ID model yang baharu?
Setiap penyedia menamakan model dengan caranya sendiri. Di BroadNet Inference:
| Model | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Letakkan ID model dalam konfigurasi, bukan dalam kod, supaya peralihan kemudian hanya memerlukan deploy, bukan tulis semula. Had dan harga setiap model ada pada halamannya: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan Gemma 4 VL 26B.
3. Mengapakah jawapan kosong selepas beralih?
Inilah kejutan yang paling biasa. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan token penaakulan dikira dalam max_tokens. Had 256 yang berfungsi pada model bukan penaakulan boleh dihabiskan sepenuhnya untuk berfikir, jadi jawapannya kosong. Sediakan 1,000 token atau lebih, atau tetapkan reasoning_effort kepada low untuk tugas ringkas. Penjelasan penuh.
4. Adakah strim masih melaporkan penggunaan?
Strim menggunakan Server-Sent Events dan berakhir dengan data: [DONE]. Penggunaan token hanya tiba dalam cebisan terakhir jika anda memintanya:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Tanpanya, papan pemuka kos anda membaca sifar. Jika strim berakhir sebelum [DONE], anggap ia tidak lengkap. Panduan penstriman.
5. Ralat manakah yang patut anda cuba semula?
| Status | Maksud | Tindakan |
|---|---|---|
| 401 | Kunci salah atau telah dibatalkan, atau elaun bayar ikut guna telah habis | Betulkan, jangan cuba semula |
| 402 | Baki atau bajet | Tambah nilai, jangan cuba semula |
| 403 | Ditolak oleh dasar model, laluan atau IP | Betulkan ketidakpadanan |
| 413 | Permintaan terlalu besar | Kecilkan, jangan cuba semula |
| 429 | Had kadar, keserentakan atau perbelanjaan | Tunggu dan cuba semula |
| 5xx | Masalah di pihak pelayan | Cuba semula dengan backoff yang terhad |
SDK Python rasmi sudah mencuba semula sesetengah ralat: READMEnya menyatakan ralat sambungan, 408, 409, 429 dan respons 5xx dicuba semula dua kali secara lalai dengan backoff eksponen yang singkat. Tetapkan max_retries secara jelas supaya tingkah laku itu satu keputusan, bukan nilai lalai. Log ID permintaan daripada setiap respons supaya pasukan sokongan boleh menjejak masalah. Semua kod.
6. Apakah had kadar yang baharu?
Ketahui had baharu sebelum trafik tiba. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak. Pelan tanpa had menjalankan satu permintaan pada satu masa bagi setiap sesi. Saizkan kumpulan pekerja anda sewajarnya, jika tidak anda akan melihat 429 pada hari pertama; kalkulator had kadar membuat pengiraan saiz. Saiz untuk ejen selari.
7. Adakah prompt anda masih muat?
Semak tetingkap konteks: 1,048,576 token pada DeepSeek V4.1 Flash dan GLM 5.3, 262,144 pada Qwen3.8 27B, 32,768 pada Gemma 4 VL 26B. Prompt yang muat dalam model lama anda mungkin tidak muat dalam tetingkap yang lebih kecil; semak dengan kalkulator tetingkap konteks. Letakkan kandungan prompt yang stabil di hadapan untuk mendapat manfaat harga input cache.
8. Bagaimana pula dengan kunci dan pengekalan data?
Hadkan kunci pengeluaran kepada IP pelayan anda dengan senarai IP dibenarkan. Tanya penyedia baharu apa yang disimpannya; lihat senarai semak ZDR.
9. Bagaimanakah anda beralih dengan selamat?
- Hantar salinan permintaan sebenar selama sehari kepada kedua-dua penyedia.
- Bandingkan jawapan pada satu sampel, serta kependaman, ralat dan kos setiap permintaan.
- Alihkan 10% trafik, perhatikan selama sehari, kemudian alihkan selebihnya.
- Kekalkan penyedia lama sebagai sandaran selama seminggu.
Jika anda menjalankan banyak perkhidmatan, proksi seperti LiteLLM membolehkan anda menukar penyedia di satu tempat dan bukannya dalam setiap aplikasi.
Apakah kesilapan migrasi yang biasa?
- Tiada
/v1dalam base URL. Permintaan mengembalikan 404. Gunakan URL penuh. - Nama model lama dalam konfigurasi. Penyedia baharu tidak mengenalinya.
- Medan khusus penyedia tertinggal dalam permintaan. Medan yang hanya difahami oleh penyedia lama mungkin ditolak atau diabaikan. Buangnya daripada klien generik.
- Menguji satu prompt sahaja. Jalankan inventori daripada langkah 0, ciri demi ciri.
- Beralih pada hari Jumaat. Beri masa untuk memerhati sehari penuh trafik sebenar.
Kedudukan BroadNet Inference
BroadNet Inference ialah sasaran drop-in untuk aplikasi yang menggunakan chat completions dan transkripsi audio melalui SDK OpenAI: tukar tiga tetapan dan ikuti senarai di atas. Katalognya hanya menyenaraikan model chat dan speech-to-text, jadi jika anda bergantung pada endpoint lain, seperti embeddings atau storan fail, kekalkannya pada penyedia lain. Akaun baharu bermula dengan kredit $5. Daripada model chat, hanya Gemma 4 VL 26B boleh digunakan dengannya (ia juga meliputi dua model Transcribe), jadi ujian bayangan pada DeepSeek, GLM atau Qwen memerlukan tambah nilai.
