BroadRouter

LlamaIndex at BroadNet Inference gamit ang OpenAILike

Na-update

I-install ang llama-index-llms-openai-like at gumawa ng OpenAILike na may model na BroadNet ID gaya ng broadnet/glm-5.3, api_base na https://inference.broadnet.ai/v1, ang BroadNet key mo, context_window na totoong context ng model, is_chat_model=True, at is_function_calling_model=True para sa GLM 5.3 o Qwen3.8 27B lang. I-set ito bilang Settings.llm para magamit kahit saan.

Python framework ang LlamaIndex para sa RAG at mga agent. Para sa anumang OpenAI-compatible na API na hindi mismo OpenAI, mayroon itong OpenAILike class. Nagse-serve ang BroadNet Inference ng karaniwang chat completions sa https://inference.broadnet.ai/v1. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang LlamaIndex API reference para sa llama-index-llms-openai-like 0.9.0.

I-install

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Ikonekta at subukan

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Kapag may na-print na sagot, gumagana ang key, URL at model ID.

Ang apat na setting na mahalaga

Parameter I-set sa Default kapag hindi sinet
is_chat_model True False, na gumagamit ng lumang completions endpoint; chat completions ang sine-serve ng BroadNet
context_window Ang totoong context ng model 3,900 token
is_function_calling_model True para sa GLM 5.3 o Qwen3.8 27B lang False
max_tokens 1,000 o higit pa None (hindi ipinapadala, kaya ang server ang magpapasya)

Ang is_chat_model ang pinakamahalaga. Sabi ng API reference, “controls whether the model uses the chat or completion endpoint” (Salin ng BroadRouter: kinokontrol kung chat o completion endpoint ang gagamitin ng model), at false ang default nito. /v1/chat/completions ang nakalista sa docs ng BroadNet, hindi ang lumang completions endpoint.

Gamitin sa buong app

from llama_index.core import Settings

Settings.llm = llm

Sa BroadNet na tatakbo ang mga query engine, chat engine at agent. Hiwalay ang embeddings: walang embeddings endpoint sa API reference ng BroadNet, kaya gumamit ng ibang embedding model para sa indexing.

Mga context window

Model ID context_window Tools
GLM 5.3 broadnet/glm-5.3 1048576 Oo
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Hindi nakalista
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Oo
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Hindi nakalista

Sa 1M-token na context, mas maraming retrieved chunk ang kayang ipasa ng isang query engine kada tawag. Hindi laging mas mabuti iyon; tingnan ang long context vs RAG.

Troubleshooting

  • 401. Mali ang key, expired na, o ubos na ang allowance nito.
  • 404. Dapat nagtatapos sa /v1 ang api_base, at dapat True ang is_chat_model. Saka suriin ang model ID. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang sagot. Naubos sa reasoning ang output budget. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • Hindi kailanman tumatawag ng tools ang agent. I-set ang is_function_calling_model=True at gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429 habang nag-i-ingest o nagba-batch query. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nagre-retry ang OpenAILike nang 3 beses bilang default (max_retries). Tingnan ang errors and retries.

Mga tanong

Bakit hindi na lang gamitin ang OpenAI class ng LlamaIndex na may ibang api_base?

Sinasabi mismo ng OpenAI page ng LlamaIndex na gamitin ang OpenAILike integration para sa anumang OpenAI-compatible na API na hindi ang opisyal na OpenAI API. Hinahayaan ka rin ng OpenAILike na ikaw mismo ang magdeklara ng context window at tool support.

Ano ang mangyayari kung hindi ko ilalagay ang context_window?

3,900 token ang default ng OpenAILike, kaya pinuputol ng LlamaIndex ang mga prompt at retrieved chunk nang mas maliit nang husto kaysa sa kayang tanggapin ng mga model ng BroadNet. I-set ang 1048576 para sa GLM 5.3 at DeepSeek V4.1 Flash, o 262144 para sa Qwen3.8 27B.

Puwede bang gamitin ng LlamaIndex FunctionAgent ang BroadNet?

Oo, kung is_function_calling_model=True at ang model ay may tools sa listahan ng BroadNet, GLM 5.3 o Qwen3.8 27B. Iwanang False para sa DeepSeek V4.1 Flash, na walang tool calling sa docs ng BroadNet.

May embeddings ba ang BroadNet para sa isang LlamaIndex index?

Chat completions at audio transcriptions ang nakalista sa API reference ng BroadNet, hindi embeddings. Gumamit ng hiwalay na embedding model para sa index at ng BroadNet para sa LLM.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity