BroadRouter
Magsimula

OpenAI-compatible API

Na-update

Ang OpenAI-compatible API ay isang HTTP API na tumatanggap ng parehong request at response format gaya ng OpenAI API, halimbawa POST /v1/chat/completions, kaya magagamit ito ng mga OpenAI SDK at tool sa pagpalit lang ng base URL, API key at pangalan ng model.

Tinatawag ding: OpenAI compatible na API, API na compatible sa OpenAI, OpenAI-compatible API, OpenAI API compatible, OpenAI-style API, OpenAI drop-in replacement

Naging karaniwang wika ng mga LLM tool ang API format ng OpenAI. Marami nang provider ang tumatanggap nito, kaya kayang kausapin ng iisang client library ang maraming backend.

Paano ito gumagana

Kinokopya ng compatible na API ang mga bahagi ng OpenAI API na inaasahan ng mga client:

  • ang parehong mga path, gaya ng /v1/chat/completions at /v1/audio/transcriptions;
  • ang parehong JSON format: messages array ang papasok, choices[0].message.content ang lalabas, at usage block na may bilang ng token;
  • API key na ipinapadala bilang Authorization: Bearer <key>;
  • streaming bilang server-sent events kapag true ang stream.

Pagbabago lang ng configuration ang paglipat. Gamit ang opisyal na Python SDK:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

Tatlong value lang ang binago mula sa isang OpenAI example: ang base URL, ang key at ang model ID.

Bakit ito mahalaga

Pinabababa ng compatibility ang gastos ng paglipat. Gumagana nang walang bagong code ang mga SDK, agent framework, IDE plugin at router na gumagamit ng OpenAI format. Masusubukan mo ang pangalawang provider sa loob ng ilang minuto at may opsyon kang lumipat.

Pero hindi magkapareho ang compatible at identical. Halimbawa, hindi pinapansin ng sariling compatibility layer ng Anthropic ang strict sa tools at walang laman ang prompt_tokens_details. Ang mga karaniwang pagkakaiba:

  • mga parameter na hindi pinapansin o tinatanggihan;
  • kung paano binibilang ang reasoning tokens sa max_tokens;
  • kung iniuulat ang usage sa dulo ng stream;
  • mga rate limit at error code.

Sa BroadNet Inference

Sine-serve ng BroadNet Inference ang POST /v1/chat/completions, POST /v1/audio/transcriptions at GET /v1/models sa https://inference.broadnet.ai/v1. Ipinapadala lang ang mga key bilang Authorization: Bearer <key>. Ipinapakita ng mga gabay sa Python at Node ang buong setup, at ganoon din gumagana ang LangChain.

Dalawang pagkakaiba ang dapat paghandaan: nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa max_tokens. At ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Sakop ng migration checklist ang iba pa.

Mga karaniwang pagkakamali

  • Pagpapanatili ng pangalan ng OpenAI model gaya ng gpt-6-astra (ang flagship ng OpenAI sa models page nito, sinuri noong 2026-11-15). Gamitin ang model ID ng provider.
  • Pag-aakalang gumagana ang isang parameter dahil nagtagumpay ang request. May mga provider na tahimik na hindi pinapansin ang mga hindi kilalang field.

Mga tanong

Ibig bang sabihin ng OpenAI-compatible na gumagana ang lahat ng feature ng OpenAI?

Hindi. Ang ibig sabihin nito ay pareho ang pangunahing format ng request at response. Puwedeng hindi pansinin o tanggihan ang ilang field. Halimbawa, inililista ng compatibility layer ng Anthropic ang mga field na hindi nito pinapansin at ang mga nagbabalik ng 400 error. Basahin ang listahan ng provider bago umasa sa isang parameter.

Kailangan ko ba ng ibang SDK?

Hindi. Tumatanggap ng custom na base URL ang mga opisyal na OpenAI SDK. Sa Python, ipasa ang base_url; sa Node, ipasa ang baseURL; o i-set ang OPENAI_BASE_URL environment variable.

Anong mga endpoint ang sinusuportahan ng BroadNet Inference?

POST /v1/chat/completions para sa chat at POST /v1/audio/transcriptions para sa speech-to-text. Mayroon ding GET /v1/models; inilalarawan ito ng docs ng BroadNet bilang public catalog metadata para sa mga external monitor, kaya kunin ang mga model ID para sa request mula sa API reference.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity