Naging karaniwang wika ng mga LLM tool ang API format ng OpenAI. Marami nang provider ang tumatanggap nito, kaya kayang kausapin ng iisang client library ang maraming backend.
Paano ito gumagana
Kinokopya ng compatible na API ang mga bahagi ng OpenAI API na inaasahan ng mga client:
- ang parehong mga path, gaya ng
/v1/chat/completionsat/v1/audio/transcriptions; - ang parehong JSON format:
messagesarray ang papasok,choices[0].message.contentang lalabas, atusageblock na may bilang ng token; - API key na ipinapadala bilang
Authorization: Bearer <key>; - streaming bilang server-sent events kapag true ang
stream.
Pagbabago lang ng configuration ang paglipat. Gamit ang opisyal na Python SDK:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
Tatlong value lang ang binago mula sa isang OpenAI example: ang base URL, ang key at ang model ID.
Bakit ito mahalaga
Pinabababa ng compatibility ang gastos ng paglipat. Gumagana nang walang bagong code ang mga SDK, agent framework, IDE plugin at router na gumagamit ng OpenAI format. Masusubukan mo ang pangalawang provider sa loob ng ilang minuto at may opsyon kang lumipat.
Pero hindi magkapareho ang compatible at identical. Halimbawa, hindi pinapansin ng sariling compatibility layer ng Anthropic ang strict sa tools at walang laman ang prompt_tokens_details. Ang mga karaniwang pagkakaiba:
- mga parameter na hindi pinapansin o tinatanggihan;
- kung paano binibilang ang reasoning tokens sa
max_tokens; - kung iniuulat ang usage sa dulo ng stream;
- mga rate limit at error code.
Sa BroadNet Inference
Sine-serve ng BroadNet Inference ang POST /v1/chat/completions, POST /v1/audio/transcriptions at GET /v1/models sa https://inference.broadnet.ai/v1. Ipinapadala lang ang mga key bilang Authorization: Bearer <key>. Ipinapakita ng mga gabay sa Python at Node ang buong setup, at ganoon din gumagana ang LangChain.
Dalawang pagkakaiba ang dapat paghandaan: nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa max_tokens. At ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Sakop ng migration checklist ang iba pa.
Mga karaniwang pagkakamali
- Pagpapanatili ng pangalan ng OpenAI model gaya ng
gpt-6-astra(ang flagship ng OpenAI sa models page nito, sinuri noong 2026-11-15). Gamitin ang model ID ng provider. - Pag-aakalang gumagana ang isang parameter dahil nagtagumpay ang request. May mga provider na tahimik na hindi pinapansin ang mga hindi kilalang field.