BroadRouter

Paglipat sa OpenAI-compatible API: checklist sa migration

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Para lumipat sa OpenAI-compatible API, palitan ang tatlong setting (base_url, api_key at model), tapos suriin ang mga nagbabago: model ID, kung paano binibilang ang reasoning token sa max_tokens, kung paano nag-uulat ng usage ang streaming, aling error ang ire-retry, rate limit at seguridad ng key. Para sa BroadNet Inference, https://inference.broadnet.ai/v1 ang base URL.

Gumagamit na ngayon ng OpenAI API format ang karamihan ng LLM provider. Kaya mukhang isang linya lang ng code ang paglipat, at para makakuha ng unang sagot, totoo iyon. Pero para sa production traffic, dumaan sa listahang ito. Galing ang bawat item sa totoong paraan kung paano nasisira ang migration.

0. Ano ang ginagamit ng app mo ngayon?

Bago ka magpalit ng kahit ano, isulat kung saan umaasa ang app mo. Hanapin sa code ang bawat tawag sa SDK at ilista ito. Kung tumatawag ka sa Whisper API ng OpenAI, tandaan na nakalista sa OpenAI na magsasara ang whisper-1 sa Pebrero 26, 2027; nasa mga alternatibo sa Whisper API ang tungkol sa audio.

Feature Saan titingin Subukan pagkatapos lumipat
Chat completions Bawat chat.completions.create Parehong prompt, ihambing ang mga sagot
Streaming stream=True Dumarating ang mga chunk, nagtatapos sa [DONE], may usage
Tool calling tools= Nagpa-parse at tumatakbo ang mga tool call
Structured output response_format= Pumapasa ang JSON sa schema mo
Larawan Mga image part sa messages Tinatanggap ng model
Audio transcription audio.transcriptions Tama ang text at wika
Embeddings, files, batches Ibang endpoint Tingnan kung inaalok ba talaga ng provider

Mahalaga ang huling row. Kadalasang chat completions muna ang saklaw ng “OpenAI-compatible”. Sa catalogue ng BroadNet Inference, nakalista ang mga chat model sa /v1/chat/completions at ang mga speech-to-text model sa /v1/audio/transcriptions; kung gumagamit ka ng ibang endpoint, iwan ang mga iyon sa kasalukuyan mong provider o maghanap ng kapalit.

1. Aling tatlong setting ang nagbabago?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Iba-iba ang pangalan ng setting para sa base URL depende sa library: base_url sa Python SDK at sa ChatOpenAI ng LangChain, baseURL sa Node.js SDK. Binabasa rin ng Python SDK ang environment variable na OPENAI_BASE_URL, ayon sa README nito. Tingnan kung may lumang value sa environment mo, kung hindi ay puwedeng mapunta ang mga request sa lumang provider nang walang error.

Ilagay ang mga API key sa environment variable o secret manager, hindi kailanman sa code. Setup para sa bawat SDK: Python, Node.js, LangChain. Para buuin at subukan nang mano-mano ang unang request, gamitin ang API request builder. Para ilapat ang pagbabago sa base URL, key at model sa kasalukuyang code, i-paste ito sa OpenAI to BroadNet migration helper, na naglilista rin ng mga dapat suriin.

2. Ano ang mga bagong model ID?

May sariling paraan ng pagpapangalan sa model ang bawat provider. Sa BroadNet Inference:

Model ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Ilagay ang model ID sa configuration, hindi sa code, para deploy na lang ang susunod na paglipat, hindi rewrite. Nasa page ng bawat model ang mga limit at presyo nito: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 VL 26B.

3. Bakit walang laman ang mga sagot pagkatapos lumipat?

Ito ang pinakakaraniwang sorpresa. Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at binibilang ang mga reasoning token sa max_tokens. Ang limit na 256 na gumana sa non-reasoning na model ay puwedeng maubos nang buo sa pag-iisip, kaya walang laman ang sagot. Mag-iwan ng 1,000 token o higit pa, o i-set ang reasoning_effort sa low para sa simpleng gawain. Buong paliwanag.

4. Nag-uulat pa rin ba ng usage ang streaming?

Gumagamit ang mga stream ng Server-Sent Events at nagtatapos sa data: [DONE]. Dumarating lang ang token usage sa huling chunk kung hihilingin mo:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Kung wala ito, zero ang mababasa sa cost dashboard mo. Kung natapos ang stream bago ang [DONE], ituring itong hindi kumpleto. Gabay sa streaming.

5. Aling mga error ang dapat i-retry?

Status Kahulugan Gagawin
401 Mali o na-revoke na key, o ubos na ang pay-as-you-go allowance Ayusin, huwag i-retry
402 Balance o budget Mag-top up, huwag i-retry
403 Tinanggihan ng policy ng model, route o IP Ayusin ang hindi pagtutugma
413 Masyadong malaki ang request Paliitin, huwag i-retry
429 Limit sa rate, concurrency o gastos Mag-back off at i-retry
5xx Problema sa server I-retry gamit ang may-hangganang backoff

Nagre-retry na ng ilang error ang opisyal na Python SDK: sabi ng README nito, nire-retry nang dalawang beses bilang default ang mga connection error, 408, 409, 429 at 5xx na response, na may maikling exponential backoff. I-set nang tahasan ang max_retries para desisyon mo ang behaviour, hindi default. I-log ang request ID mula sa bawat response para ma-trace ng support ang problema. Lahat ng code.

6. Ano ang mga bagong rate limit?

Alamin ang mga bagong limit bago dumating ang traffic. Pinapayagan ng pay-as-you-go key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay. Isang request sa bawat pagkakataon kada session ang mga unlimited plan. Itugma ang laki ng worker pool mo, kung hindi ay makakakita ka ng 429 sa unang araw pa lang; ang rate limit calculator ang bahala sa sizing. Sizing para sa parallel agents.

7. Kakasya pa ba ang mga prompt mo?

Tingnan ang context window: 1,048,576 token sa DeepSeek V4.1 Flash at GLM 5.3, 262,144 sa Qwen3.8 27B, 32,768 sa Gemma 4 VL 26B. Ang prompt na kumasya sa luma mong model ay puwedeng hindi kumasya sa mas maliit na window; suriin gamit ang context window calculator. Ilagay muna ang hindi nagbabagong nilalaman ng prompt para makinabang sa presyo ng cached input.

8. Paano naman ang mga key at data retention?

I-lock ang mga production key sa IP ng mga server mo gamit ang IP allow-list. Tanungin ang bagong provider kung ano ang itinatago nito; tingnan ang ZDR checklist.

9. Paano lumipat nang ligtas?

  1. Magpadala ng kopya ng totoong request ng isang araw sa dalawang provider.
  2. Ihambing ang mga sagot sa isang sample, pati latency, error at gastos kada request.
  3. Ilipat ang 10% ng traffic, bantayan nang isang araw, tapos ilipat ang natitira.
  4. Panatilihing naka-configure ang lumang provider bilang fallback nang isang linggo.

Kung marami kang service, hinahayaan ka ng proxy gaya ng LiteLLM na magpalit ng provider sa iisang lugar sa halip na sa bawat app.

Ano ang mga karaniwang pagkakamali sa migration?

  • Walang /v1 sa base URL. 404 ang balik ng mga request. Gamitin ang buong URL.
  • Lumang pangalan ng model sa config. Hindi ito kilala ng bagong provider.
  • Naiwang field na pang-provider lang sa mga request. Puwedeng tanggihan o i-ignore ang mga field na ang lumang provider lang ang nakakaintindi. Tanggalin ang mga ito sa mga generic na client.
  • Isang prompt lang ang sinubukan. Patakbuhin ang inventory mula sa step 0, feature kada feature.
  • Paglipat sa araw ng Biyernes. Maglaan ng oras para bantayan ang isang buong araw ng totoong traffic.

Saan pumupuwesto ang BroadNet Inference

Ang BroadNet Inference ay drop-in na target para sa mga app na gumagamit ng chat completions at audio transcription sa pamamagitan ng OpenAI SDK: palitan ang tatlong setting at dumaan sa listahan sa itaas. Chat at speech-to-text model lang ang nasa catalogue nito, kaya kung umaasa ka sa ibang endpoint, gaya ng embeddings o file storage, iwan ang mga iyon sa ibang provider. Nagsisimula ang mga bagong account sa $5 na credit. Sa mga chat model, Gemma 4 VL 26B lang ang tumatakbo rito (sakop din nito ang dalawang Transcribe model), kaya kailangan ng top-up para sa shadow test sa DeepSeek, GLM o Qwen.

Mga tanong

Kailangan ko ba ng ibang SDK?

Hindi. Tumatanggap ng custom na base URL ang mga opisyal na OpenAI SDK para sa Python at Node.js. Tumatanggap din nito ang mga framework na nakabatay sa kanila, gaya ng ChatOpenAI ng LangChain.

Paano ko papalitan ang base URL sa OpenAI SDK?

Ipasa ang base_url sa client sa Python o ang baseURL sa Node.js, o i-set ang environment variable na OPENAI_BASE_URL. Para sa BroadNet Inference, https://inference.broadnet.ai/v1 ang value, at sa api_key ilalagay ang key.

Bakit walang laman ang response pagkatapos kong lumipat?

Nag-iisip muna bago sumagot ang mga reasoning model gaya ng DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at binibilang ang pag-iisip sa max_tokens. Itaas ang max_tokens sa 1,000 o higit pa, o i-set ang reasoning_effort sa low.

Bakit ako nakakakuha ng 404 o model not found pagkatapos lumipat?

Kadalasan, pangalan pa rin ng lumang provider ang model ID, o kulang ng /v1 path ang base URL. Gamitin ang eksaktong model ID ng bagong provider at ang buong base URL.

Aling mga error ang dapat kong i-retry?

I-retry ang 429 at 5xx gamit ang may-hangganang exponential backoff. Ayusin muna ang 401, 402 at 413 bago mag-retry. Nakalista ang bawat code sa errors guide ng site na ito.

Pareho ba ang OpenAI-compatible sa magkapareho talaga?

Hindi. Tugma ang hugis ng request at response, pero puwedeng magkaiba ang model ID, mga suportadong parameter, limit, usage field at detalye ng error. Subukan ang bawat feature na ginagamit ng app mo.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity