Gumagamit na ngayon ng OpenAI API format ang karamihan ng LLM provider. Kaya mukhang isang linya lang ng code ang paglipat, at para makakuha ng unang sagot, totoo iyon. Pero para sa production traffic, dumaan sa listahang ito. Galing ang bawat item sa totoong paraan kung paano nasisira ang migration.
0. Ano ang ginagamit ng app mo ngayon?
Bago ka magpalit ng kahit ano, isulat kung saan umaasa ang app mo. Hanapin sa code ang bawat tawag sa SDK at ilista ito. Kung tumatawag ka sa Whisper API ng OpenAI, tandaan na nakalista sa OpenAI na magsasara ang whisper-1 sa Pebrero 26, 2027; nasa mga alternatibo sa Whisper API ang tungkol sa audio.
| Feature | Saan titingin | Subukan pagkatapos lumipat |
|---|---|---|
| Chat completions | Bawat chat.completions.create |
Parehong prompt, ihambing ang mga sagot |
| Streaming | stream=True |
Dumarating ang mga chunk, nagtatapos sa [DONE], may usage |
| Tool calling | tools= |
Nagpa-parse at tumatakbo ang mga tool call |
| Structured output | response_format= |
Pumapasa ang JSON sa schema mo |
| Larawan | Mga image part sa messages | Tinatanggap ng model |
| Audio transcription | audio.transcriptions |
Tama ang text at wika |
| Embeddings, files, batches | Ibang endpoint | Tingnan kung inaalok ba talaga ng provider |
Mahalaga ang huling row. Kadalasang chat completions muna ang saklaw ng “OpenAI-compatible”. Sa catalogue ng BroadNet Inference, nakalista ang mga chat model sa /v1/chat/completions at ang mga speech-to-text model sa /v1/audio/transcriptions; kung gumagamit ka ng ibang endpoint, iwan ang mga iyon sa kasalukuyan mong provider o maghanap ng kapalit.
1. Aling tatlong setting ang nagbabago?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Iba-iba ang pangalan ng setting para sa base URL depende sa library: base_url sa Python SDK at sa ChatOpenAI ng LangChain, baseURL sa Node.js SDK. Binabasa rin ng Python SDK ang environment variable na OPENAI_BASE_URL, ayon sa README nito. Tingnan kung may lumang value sa environment mo, kung hindi ay puwedeng mapunta ang mga request sa lumang provider nang walang error.
Ilagay ang mga API key sa environment variable o secret manager, hindi kailanman sa code. Setup para sa bawat SDK: Python, Node.js, LangChain. Para buuin at subukan nang mano-mano ang unang request, gamitin ang API request builder. Para ilapat ang pagbabago sa base URL, key at model sa kasalukuyang code, i-paste ito sa OpenAI to BroadNet migration helper, na naglilista rin ng mga dapat suriin.
2. Ano ang mga bagong model ID?
May sariling paraan ng pagpapangalan sa model ang bawat provider. Sa BroadNet Inference:
| Model | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Ilagay ang model ID sa configuration, hindi sa code, para deploy na lang ang susunod na paglipat, hindi rewrite. Nasa page ng bawat model ang mga limit at presyo nito: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 VL 26B.
3. Bakit walang laman ang mga sagot pagkatapos lumipat?
Ito ang pinakakaraniwang sorpresa. Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at binibilang ang mga reasoning token sa max_tokens. Ang limit na 256 na gumana sa non-reasoning na model ay puwedeng maubos nang buo sa pag-iisip, kaya walang laman ang sagot. Mag-iwan ng 1,000 token o higit pa, o i-set ang reasoning_effort sa low para sa simpleng gawain. Buong paliwanag.
4. Nag-uulat pa rin ba ng usage ang streaming?
Gumagamit ang mga stream ng Server-Sent Events at nagtatapos sa data: [DONE]. Dumarating lang ang token usage sa huling chunk kung hihilingin mo:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Kung wala ito, zero ang mababasa sa cost dashboard mo. Kung natapos ang stream bago ang [DONE], ituring itong hindi kumpleto. Gabay sa streaming.
5. Aling mga error ang dapat i-retry?
| Status | Kahulugan | Gagawin |
|---|---|---|
| 401 | Mali o na-revoke na key, o ubos na ang pay-as-you-go allowance | Ayusin, huwag i-retry |
| 402 | Balance o budget | Mag-top up, huwag i-retry |
| 403 | Tinanggihan ng policy ng model, route o IP | Ayusin ang hindi pagtutugma |
| 413 | Masyadong malaki ang request | Paliitin, huwag i-retry |
| 429 | Limit sa rate, concurrency o gastos | Mag-back off at i-retry |
| 5xx | Problema sa server | I-retry gamit ang may-hangganang backoff |
Nagre-retry na ng ilang error ang opisyal na Python SDK: sabi ng README nito, nire-retry nang dalawang beses bilang default ang mga connection error, 408, 409, 429 at 5xx na response, na may maikling exponential backoff. I-set nang tahasan ang max_retries para desisyon mo ang behaviour, hindi default. I-log ang request ID mula sa bawat response para ma-trace ng support ang problema. Lahat ng code.
6. Ano ang mga bagong rate limit?
Alamin ang mga bagong limit bago dumating ang traffic. Pinapayagan ng pay-as-you-go key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay. Isang request sa bawat pagkakataon kada session ang mga unlimited plan. Itugma ang laki ng worker pool mo, kung hindi ay makakakita ka ng 429 sa unang araw pa lang; ang rate limit calculator ang bahala sa sizing. Sizing para sa parallel agents.
7. Kakasya pa ba ang mga prompt mo?
Tingnan ang context window: 1,048,576 token sa DeepSeek V4.1 Flash at GLM 5.3, 262,144 sa Qwen3.8 27B, 32,768 sa Gemma 4 VL 26B. Ang prompt na kumasya sa luma mong model ay puwedeng hindi kumasya sa mas maliit na window; suriin gamit ang context window calculator. Ilagay muna ang hindi nagbabagong nilalaman ng prompt para makinabang sa presyo ng cached input.
8. Paano naman ang mga key at data retention?
I-lock ang mga production key sa IP ng mga server mo gamit ang IP allow-list. Tanungin ang bagong provider kung ano ang itinatago nito; tingnan ang ZDR checklist.
9. Paano lumipat nang ligtas?
- Magpadala ng kopya ng totoong request ng isang araw sa dalawang provider.
- Ihambing ang mga sagot sa isang sample, pati latency, error at gastos kada request.
- Ilipat ang 10% ng traffic, bantayan nang isang araw, tapos ilipat ang natitira.
- Panatilihing naka-configure ang lumang provider bilang fallback nang isang linggo.
Kung marami kang service, hinahayaan ka ng proxy gaya ng LiteLLM na magpalit ng provider sa iisang lugar sa halip na sa bawat app.
Ano ang mga karaniwang pagkakamali sa migration?
- Walang
/v1sa base URL. 404 ang balik ng mga request. Gamitin ang buong URL. - Lumang pangalan ng model sa config. Hindi ito kilala ng bagong provider.
- Naiwang field na pang-provider lang sa mga request. Puwedeng tanggihan o i-ignore ang mga field na ang lumang provider lang ang nakakaintindi. Tanggalin ang mga ito sa mga generic na client.
- Isang prompt lang ang sinubukan. Patakbuhin ang inventory mula sa step 0, feature kada feature.
- Paglipat sa araw ng Biyernes. Maglaan ng oras para bantayan ang isang buong araw ng totoong traffic.
Saan pumupuwesto ang BroadNet Inference
Ang BroadNet Inference ay drop-in na target para sa mga app na gumagamit ng chat completions at audio transcription sa pamamagitan ng OpenAI SDK: palitan ang tatlong setting at dumaan sa listahan sa itaas. Chat at speech-to-text model lang ang nasa catalogue nito, kaya kung umaasa ka sa ibang endpoint, gaya ng embeddings o file storage, iwan ang mga iyon sa ibang provider. Nagsisimula ang mga bagong account sa $5 na credit. Sa mga chat model, Gemma 4 VL 26B lang ang tumatakbo rito (sakop din nito ang dalawang Transcribe model), kaya kailangan ng top-up para sa shadow test sa DeepSeek, GLM o Qwen.
