Python framework ang LlamaIndex para sa RAG at mga agent. Para sa anumang OpenAI-compatible na API na hindi mismo OpenAI, mayroon itong OpenAILike class. Nagse-serve ang BroadNet Inference ng karaniwang chat completions sa https://inference.broadnet.ai/v1. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang LlamaIndex API reference para sa llama-index-llms-openai-like 0.9.0.
I-install
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Ikonekta at subukan
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Kapag may na-print na sagot, gumagana ang key, URL at model ID.
Ang apat na setting na mahalaga
| Parameter | I-set sa | Default kapag hindi sinet |
|---|---|---|
is_chat_model |
True |
False, na gumagamit ng lumang completions endpoint; chat completions ang sine-serve ng BroadNet |
context_window |
Ang totoong context ng model | 3,900 token |
is_function_calling_model |
True para sa GLM 5.3 o Qwen3.8 27B lang |
False |
max_tokens |
1,000 o higit pa | None (hindi ipinapadala, kaya ang server ang magpapasya) |
Ang is_chat_model ang pinakamahalaga. Sabi ng API reference, “controls whether the model uses the chat or completion endpoint” (Salin ng BroadRouter: kinokontrol kung chat o completion endpoint ang gagamitin ng model), at false ang default nito. /v1/chat/completions ang nakalista sa docs ng BroadNet, hindi ang lumang completions endpoint.
Gamitin sa buong app
from llama_index.core import Settings
Settings.llm = llm
Sa BroadNet na tatakbo ang mga query engine, chat engine at agent. Hiwalay ang embeddings: walang embeddings endpoint sa API reference ng BroadNet, kaya gumamit ng ibang embedding model para sa indexing.
Mga context window
| Model | ID | context_window |
Tools |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Oo |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Hindi nakalista |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Oo |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Hindi nakalista |
Sa 1M-token na context, mas maraming retrieved chunk ang kayang ipasa ng isang query engine kada tawag. Hindi laging mas mabuti iyon; tingnan ang long context vs RAG.
Troubleshooting
- 401. Mali ang key, expired na, o ubos na ang allowance nito.
- 404. Dapat nagtatapos sa
/v1angapi_base, at dapatTrueangis_chat_model. Saka suriin ang model ID. Kailangan ng top-up para sa mga bayad na model; angbroadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - Walang lamang sagot. Naubos sa reasoning ang output budget. Taasan ang
max_tokens. Bakit walang laman ang mga sagot. - Hindi kailanman tumatawag ng tools ang agent. I-set ang
is_function_calling_model=Trueat gamitin angbroadnet/glm-5.3obroadnet/qwen3.8-27b. - 429 habang nag-i-ingest o nagba-batch query. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nagre-retry ang OpenAILike nang 3 beses bilang default (
max_retries). Tingnan ang errors and retries.
