LlamaIndex، RAG اور ایجنٹس کے لیے ایک Python فریم ورک ہے۔ OpenAI کے علاوہ کسی بھی OpenAI-compatible API کے لیے یہ OpenAILike کلاس فراہم کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ llama-index-llms-openai-like 0.9.0 کے LlamaIndex API ریفرنس کے مطابق ہے۔
انسٹال کریں
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
کنیکٹ اور ٹیسٹ کریں
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
جواب پرنٹ ہو تو کلید، URL اور ماڈل ID درست ہیں۔
چار اہم سیٹنگز
| پیرامیٹر | کیا سیٹ کریں | سیٹ نہ کریں تو ڈیفالٹ |
|---|---|---|
is_chat_model |
True |
False، جو پرانا completions اینڈ پوائنٹ استعمال کرتا ہے؛ BroadNet، chat completions فراہم کرتا ہے |
context_window |
ماڈل کا اصل کانٹیکسٹ | 3,900 ٹوکن |
is_function_calling_model |
True صرف GLM 5.3 یا Qwen3.8 27B کے لیے |
False |
max_tokens |
1,000 یا زیادہ | None (بھیجا نہیں جاتا، اس لیے سرور طے کرتا ہے) |
سب سے اہم is_chat_model ہے۔ API ریفرنس کہتا ہے کہ یہ “controls whether the model uses the chat or completion endpoint” (ترجمہ: طے کرتا ہے کہ ماڈل chat اینڈ پوائنٹ استعمال کرے یا completion اینڈ پوائنٹ)، اور اس کا ڈیفالٹ false ہے۔ BroadNet کی دستاویزات /v1/chat/completions درج کرتی ہیں، پرانا completions اینڈ پوائنٹ نہیں۔
پوری ایپ میں استعمال کریں
from llama_index.core import Settings
Settings.llm = llm
اس کے بعد query engines، chat engines اور ایجنٹس BroadNet استعمال کرتے ہیں۔ Embeddings الگ ہیں: BroadNet کا API ریفرنس کوئی embeddings اینڈ پوائنٹ درج نہیں کرتا، اس لیے انڈیکسنگ کے لیے کوئی دوسرا embedding ماڈل رکھیں۔
کانٹیکسٹ ونڈوز
| ماڈل | ID | context_window |
ٹولز |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | ہاں |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | درج نہیں |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | ہاں |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | درج نہیں |
1M ٹوکن کے کانٹیکسٹ سے query engine ہر کال میں کہیں زیادہ ری ٹریو کیے گئے chunks بھیج سکتا ہے۔ یہ ہمیشہ بہتر نہیں ہوتا؛ long context بمقابلہ RAG دیکھیں۔
مسائل کا حل
- 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
- 404۔
api_baseکے آخر میں/v1ہونا چاہیے، اورis_chat_modelکوTrueہونا چاہیے۔ پھر ماڈل ID جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرفbroadnet/gemma-4-26b-a4bاور دو Transcribe ماڈلز چلتے ہیں۔ - خالی جوابات۔ آؤٹ پٹ بجٹ ریزننگ میں خرچ ہو گیا۔
max_tokensبڑھائیں۔ جوابات خالی کیوں آتے ہیں۔ - ایجنٹ کبھی ٹولز کال نہیں کرتا۔
is_function_calling_model=Trueسیٹ کریں اورbroadnet/glm-5.3یاbroadnet/qwen3.8-27bاستعمال کریں۔ - انجیشن یا بیچ کوئریز کے دوران 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ OpenAILike ڈیفالٹ طور پر 3 بار دوبارہ کوشش کرتا ہے (
max_retries)۔ ایررز اور دوبارہ کوشش دیکھیں۔
