BroadRouter

OpenAILike کے ذریعے BroadNet Inference کے ساتھ LlamaIndex

اپ ڈیٹ

llama-index-llms-openai-like انسٹال کریں اور OpenAILike بنائیں: model میں broadnet/glm-5.3 جیسا BroadNet ID، api_base میں https://inference.broadnet.ai/v1، اپنی BroadNet کلید، context_window میں ماڈل کا اصل کانٹیکسٹ، is_chat_model=True، اور is_function_calling_model=True صرف GLM 5.3 یا Qwen3.8 27B کے لیے۔ اسے ہر جگہ استعمال کرنے کے لیے Settings.llm بنا دیں۔

LlamaIndex، RAG اور ایجنٹس کے لیے ایک Python فریم ورک ہے۔ OpenAI کے علاوہ کسی بھی OpenAI-compatible API کے لیے یہ OpenAILike کلاس فراہم کرتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ llama-index-llms-openai-like 0.9.0 کے LlamaIndex API ریفرنس کے مطابق ہے۔

انسٹال کریں

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

کنیکٹ اور ٹیسٹ کریں

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

جواب پرنٹ ہو تو کلید، URL اور ماڈل ID درست ہیں۔

چار اہم سیٹنگز

پیرامیٹر کیا سیٹ کریں سیٹ نہ کریں تو ڈیفالٹ
is_chat_model True False، جو پرانا completions اینڈ پوائنٹ استعمال کرتا ہے؛ BroadNet، chat completions فراہم کرتا ہے
context_window ماڈل کا اصل کانٹیکسٹ 3,900 ٹوکن
is_function_calling_model True صرف GLM 5.3 یا Qwen3.8 27B کے لیے False
max_tokens 1,000 یا زیادہ None (بھیجا نہیں جاتا، اس لیے سرور طے کرتا ہے)

سب سے اہم is_chat_model ہے۔ API ریفرنس کہتا ہے کہ یہ “controls whether the model uses the chat or completion endpoint” (ترجمہ: طے کرتا ہے کہ ماڈل chat اینڈ پوائنٹ استعمال کرے یا completion اینڈ پوائنٹ)، اور اس کا ڈیفالٹ false ہے۔ BroadNet کی دستاویزات /v1/chat/completions درج کرتی ہیں، پرانا completions اینڈ پوائنٹ نہیں۔

پوری ایپ میں استعمال کریں

from llama_index.core import Settings

Settings.llm = llm

اس کے بعد query engines، chat engines اور ایجنٹس BroadNet استعمال کرتے ہیں۔ Embeddings الگ ہیں: BroadNet کا API ریفرنس کوئی embeddings اینڈ پوائنٹ درج نہیں کرتا، اس لیے انڈیکسنگ کے لیے کوئی دوسرا embedding ماڈل رکھیں۔

کانٹیکسٹ ونڈوز

ماڈل ID context_window ٹولز
GLM 5.3 broadnet/glm-5.3 1048576 ہاں
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 درج نہیں
Qwen3.8 27B broadnet/qwen3.8-27b 262144 ہاں
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 درج نہیں

1M ٹوکن کے کانٹیکسٹ سے query engine ہر کال میں کہیں زیادہ ری ٹریو کیے گئے chunks بھیج سکتا ہے۔ یہ ہمیشہ بہتر نہیں ہوتا؛ long context بمقابلہ RAG دیکھیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔
  • 404۔ api_base کے آخر میں /v1 ہونا چاہیے، اور is_chat_model کو True ہونا چاہیے۔ پھر ماڈل ID جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ پر صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز چلتے ہیں۔
  • خالی جوابات۔ آؤٹ پٹ بجٹ ریزننگ میں خرچ ہو گیا۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • ایجنٹ کبھی ٹولز کال نہیں کرتا۔ is_function_calling_model=True سیٹ کریں اور broadnet/glm-5.3 یا broadnet/qwen3.8-27b استعمال کریں۔
  • انجیشن یا بیچ کوئریز کے دوران 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ OpenAILike ڈیفالٹ طور پر 3 بار دوبارہ کوشش کرتا ہے (max_retries)۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

LlamaIndex کی OpenAI کلاس کو الگ api_base کے ساتھ کیوں نہ استعمال کریں؟

LlamaIndex کا اپنا OpenAI صفحہ کہتا ہے کہ سرکاری OpenAI API کے علاوہ کسی بھی OpenAI-compatible API کے لیے OpenAILike انٹیگریشن استعمال کریں۔ OpenAILike میں آپ کانٹیکسٹ ونڈو اور ٹول سپورٹ بھی خود بتا سکتے ہیں۔

اگر میں context_window چھوڑ دوں تو کیا ہوگا؟

OpenAILike کا ڈیفالٹ 3,900 ٹوکن ہے، اس لیے LlamaIndex پرامپٹس اور ری ٹریو کیے گئے chunks کو BroadNet کے ماڈلز کی گنجائش سے بہت کم پر کاٹ دیتا ہے۔ GLM 5.3 اور DeepSeek V4.1 Flash کے لیے 1048576، یا Qwen3.8 27B کے لیے 262144 سیٹ کریں۔

کیا LlamaIndex کا FunctionAgent، BroadNet استعمال کر سکتا ہے؟

ہاں، is_function_calling_model=True کے ساتھ، اس ماڈل پر جس کے لیے BroadNet ٹولز درج کرتا ہے: GLM 5.3 یا Qwen3.8 27B۔ DeepSeek V4.1 Flash کے لیے اسے False رکھیں، کیونکہ BroadNet کی دستاویزات اس کے لیے ٹول کالنگ درج نہیں کرتیں۔

کیا BroadNet، LlamaIndex انڈیکس کے لیے embeddings فراہم کرتا ہے؟

BroadNet کا API ریفرنس chat completions اور آڈیو ٹرانسکرپشن درج کرتا ہے، embeddings نہیں۔ انڈیکس کے لیے الگ embedding ماڈل اور LLM کے لیے BroadNet استعمال کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں