BroadRouter
Magsimula

Paano gamitin ang OpenAI Python SDK sa BroadNet Inference

Na-update

I-install ang openai package, saka gawin ang client na may base_url na https://inference.broadnet.ai/v1 at ang BroadNet key mo bilang api_key. Gumagana nang walang binabago ang bawat chat.completions call; ang model ID lang ang nagbabago, halimbawa broadnet/deepseek-v4.1-flash. Chat completions at transcriptions ang sinusuportahan ng BroadNet, hindi ang Responses API.

Kailangan mo ng BroadNet Inference account at inference key. Nagsisimula ang mga bagong account sa $5 na credit, walang card na kailangan; gumawa ng account sa inference.broadnet.ai. Isang beses lang ipinapakita ng console ang key, at hash lang nito ang itinatago, kaya kopyahin ito agad sa environment mo.

1. Mag-install at i-set ang key

Kailangan ng kasalukuyang openai package (3.x) ang Python 3.10 o mas bago.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Magpadala ng unang request

I-save ito bilang first_request.py:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

Patakbuhin ito gamit ang python first_request.py. broadnet/gemma-4-26b-a4b ang gamit ng example dahil gumagana ito sa libreng credit. Magagamit ang ibang chat model pagkatapos mag-top up.

3. Lumipat sa model na gusto mo

model lang ang palitan:

Kailangan mo Model ID
Unlimited sa flat plan, 1M na context broadnet/deepseek-v4.1-flash
Tools at structured output, 1M na context broadnet/glm-5.3
Arabic na text at mga larawan broadnet/qwen3.8-27b
Mababang presyo, gumagana sa libreng credit broadnet/gemma-4-26b-a4b

Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa max_tokens. Bigyan sila ng 1,000 token o higit pa. Ito ang dahilan kung bakit walang laman ang sagot kapag maliit ang limit.

4. I-stream ang sagot

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

Kapag may include_usage, darating ang bilang ng token sa huling chunk, na walang choices. Tinatalakay ng streaming guide ang mga naputol na connection.

5. Itago ang request ID

May X-Request-ID header ang bawat response. I-log ito: hinihingi ito ng support ng BroadNet. Sa mga parsed na response, makukuha ito sa response._request_id. Para basahin ito kasama ng ibang header:

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

Ang mga pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay na request. Ano ang ibig sabihin ng bawat error code at kailan dapat mag-retry.

Troubleshooting

  • AuthenticationError (401). Mali o expired ang key, o ubos na ang pay-as-you-go allowance. Tiyaking naka-set ang BROADNET_API_KEY sa process na nagpapatakbo ng code mo.
  • NotFoundError (404). Tiyaking nagtatapos sa /v1 ang base_url at chat.completions ang tinatawag mo, hindi responses. Pagkatapos, suriin ang model ID, kasama ang broadnet/ prefix.
  • Pumapalya ang bayad na model sa bagong account. Sakop ng $5 na panimulang credit ang BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) at ang dalawang BroadNet Transcribe model. Mag-top up para magamit ang ibang chat model: DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B.
  • Walang laman ang content. Kasama ang reasoning sa max_tokens. Taasan ito sa 1,000 o higit pa. Bakit walang laman ang mga sagot.
  • RateLimitError (429). Lumampas ka sa per-minute o concurrent na limit. Dalawang beses nagre-retry ang SDK bilang default; i-set ang max_retries sa client para baguhin iyon.
  • Mga error sa custom HTTP client pagkatapos mag-upgrade. HTTPX2 ang gamit ng 3.x na SDK. Kung nagpapasa ka ng sarili mong http_client, sundan ang HTTPX2 migration guide ng SDK.

Mga tanong

Kailangan ko ba ng ibang SDK?

Hindi. Sinusunod ng BroadNet Inference ang format ng OpenAI chat completions at audio transcriptions, kaya gumagana ang opisyal na openai package basta iba ang base_url.

Puwede ko bang gamitin pa rin ang OPENAI_API_KEY?

Puwede, pero kapag hiwalay na BROADNET_API_KEY variable ang gamit mo, hindi mo aksidenteng maipapadala ang key ng isang provider sa ibang provider.

Binabasa ba ng SDK ang OPENAI_BASE_URL?

Oo. Kapag hindi mo ipinasa ang base_url, ang OPENAI_BASE_URL ang gagamitin ng client. I-set ito sa https://inference.broadnet.ai/v1 at i-set ang OPENAI_API_KEY sa BroadNet key mo, at hindi na kailangan ng arguments ang OpenAI().

Puwede ko bang gamitin ang client.responses.create sa BroadNet?

Hindi. Responses API ang unang ipinapakita sa README ng SDK, pero chat completions at audio transcriptions lang ang nakalista sa docs ng BroadNet. Gamitin ang client.chat.completions.create.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity