BroadRouter

LLM راؤٹر (LLM router)

اپ ڈیٹ

LLM راؤٹر ایک سافٹ ویئر یا سروس ہے جو ایپ اور ایک یا زیادہ لینگویج ماڈل APIs کے درمیان بیٹھتی ہے اور ہر درخواست کے لیے طے کرتی ہے کہ اسے کون سا ماڈل یا فراہم کنندہ سنبھالے گا، لاگت، latency، دستیابی یا کام کی قسم جیسے اصولوں کی بنیاد پر۔

دوسرے نام: LLM راؤٹر، AI گیٹ وے، ماڈل راؤٹر، llm router kya hai، ai gateway kya hai، LLM router، AI gateway، LLM gateway، model router، LLM aggregator

ایک ماڈل سے بات کرنے والی ایپ کو راؤٹر کی ضرورت نہیں۔ راؤٹرز تب آتے ہیں جب کوئی ٹیم کئی ماڈلز یا فراہم کنندگان استعمال کرتی ہے اور ان کے درمیان انتخاب کے لیے ایک جگہ چاہتی ہے۔

یہ کیسے کام کرتا ہے

ایپ راؤٹر کو OpenAI طرز کی درخواست بھیجتی ہے۔ راؤٹر اپنے اصول لگاتا ہے، درخواست کسی بیک اینڈ کو آگے بھیجتا ہے، اور جواب اسی فارمیٹ میں لوٹاتا ہے۔ تین عام اقسام ہیں:

  • ہوسٹڈ ایگریگیٹرز. مثال کے طور پر OpenRouter https://openrouter.ai/api/v1 پر “hundreds of AI models through a single API endpoint” (ترجمہ: ایک ہی API endpoint سے سینکڑوں AI ماڈلز) فراہم کرتا ہے، خودکار fallbacks کے ساتھ۔ آپ کے پاس ایک کلید اور ایک بل ہوتا ہے؛ فراہم کنندگان کے ساتھ اکاؤنٹس ایگریگیٹر رکھتا ہے۔
  • سیلف ہوسٹڈ گیٹ ویز. LiteLLM Router آپ کے اپنے انفراسٹرکچر میں چلتا ہے۔ یہ deployments میں ٹریفک بانٹتا ہے (ڈیفالٹ طور پر simple shuffle، یا latency، استعمال یا لاگت کی بنیاد پر)، rate-limit ایررز پر exponential backoff کے ساتھ دوبارہ کوشش کرتا ہے، اور 429 یا ناکامی کی بلند شرح کے بعد کسی deployment کو cooldown میں ڈال دیتا ہے۔
  • ماڈل چننے والے راؤٹرز. RouteLLM جیسی تحقیق ایک classifier کو تربیت دیتی ہے جو آسان پرامپٹس سستے ماڈل کو اور مشکل پرامپٹس مضبوط ماڈل کو بھیجتا ہے، تاکہ معیار کھوئے بغیر لاگت کم ہو۔

سیلف ہوسٹڈ گیٹ وے بیک اینڈز کی فہرست کے طور پر کنفیگر ہوتا ہے۔ یہ LiteLLM اندراج ایک OpenAI-compatible فراہم کنندہ شامل کرتا ہے:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

یہ کیوں اہم ہے

  • قابلِ اعتمادی. جب کوئی فراہم کنندہ 429 یا 5xx ایررز لوٹائے تو راؤٹر failover کر سکتا ہے۔ دیکھیں ریٹ لمٹس۔
  • لاگت. سادہ پرامپٹس سستے ماڈل کو بھیجنے سے بل کم ہو سکتا ہے۔
  • ایک انٹیگریشن. کوڈ ایک base URL اور ایک کلید فارمیٹ سے بات کرتا ہے۔

سودے حقیقی ہیں۔ راؤٹر ایک نیٹ ورک hop شامل کرتا ہے۔ ہوسٹڈ راؤٹر ایک اور فریق ہے جو آپ کے پرامپٹس دیکھتا ہے، اس لیے ڈیٹا رکھنے کی پالیسی راؤٹر اور اس کے چنے ہوئے فراہم کنندہ دونوں پر منحصر ہے۔ ماڈلز tokenizers، reasoning کے برتاؤ اور پیرامیٹر سپورٹ میں بھی مختلف ہوتے ہیں، اس لیے خاموشی سے ہونے والا fallback جواب بدل سکتا ہے۔

BroadNet Inference پر

BroadNet Inference راؤٹر نہیں ہے۔ یہ ایک واحد فراہم کنندہ ہے جس کی https://inference.broadnet.ai/v1 پر ماڈلز کی ایک مختصر فہرست ہے؛ BroadNet کی شرائط کہتی ہیں کہ اس کے ماڈلز BroadNet کے اپنے یا لیز پر لیے گئے امریکی ہارڈویئر پر، یا امریکی انفرنس پارٹنرز کے ساتھ چلتے ہیں۔ فراہم کنندگان کے درمیان کوئی خودکار راؤٹنگ یا fallback نہیں ہے۔ ہر درخواست میں ماڈل آپ چنتے ہیں، مثلاً broadnet/deepseek-v4.1-flash یا broadnet/glm-5.3۔

چونکہ API، OpenAI-compatible ہے، یہ کسی راؤٹر کے پیچھے ایک بیک اینڈ کے طور پر بیٹھ سکتا ہے۔ LiteLLM proxy گائیڈ سیٹ اپ دکھاتی ہے۔ راؤٹر اور فلیٹ ریٹ فراہم کنندہ کے موازنے کے لیے agents کے لیے OpenRouter کا متبادل پڑھیں۔ BroadNet پرامپٹس یا آؤٹ پٹس محفوظ نہیں رکھتا؛ اگر آپ آگے کوئی ہوسٹڈ راؤٹر لگاتے ہیں تو اس کی ڈیٹا ریٹینشن پالیسی بھی جانچیں۔

عام غلطیاں

  • 401 یا 403 پر کسی دوسرے فراہم کنندہ کے ساتھ دوبارہ کوشش کرنا۔ یہ کلید یا پالیسی کے ایررز ہیں؛ پہلے انہیں ٹھیک کریں۔ دیکھیں ایررز اور دوبارہ کوشش۔
  • ماڈل ناموں کو ایک دوسرے کا بدل سمجھنا۔ ہر fallback ماڈل کو اپنے پرامپٹس پر ٹیسٹ کریں۔

عام سوالات

کیا LLM راؤٹر اور load balancer ایک ہی چیز ہیں؟

load balancer راؤٹر کا ایک حصہ ہے۔ راؤٹر کسی کام کے لیے مختلف ماڈل بھی چن سکتا ہے، ایرر کے بعد دوسرے فراہم کنندہ پر fallback کر سکتا ہے، اور API فارمیٹس کے درمیان ترجمہ کر سکتا ہے۔ سادہ load balancer صرف ایک جیسے سرورز میں ٹریفک بانٹتا ہے۔

کیا راؤٹر latency بڑھاتا ہے؟

عموماً تھوڑی، کیونکہ درخواست ایک اضافی نیٹ ورک hop لیتی ہے اور راؤٹر اسے جانچ سکتا ہے۔ Fallbacks سے مزید بڑھ سکتی ہے، کیونکہ دوبارہ کوشش سے پہلے ایک ناکام کوشش چلتی ہے۔ راؤٹر کے ساتھ اور اس کے بغیر پہلے ٹوکن تک کا وقت ناپیں۔

کیا BroadNet Inference ایک LLM راؤٹر ہے؟

نہیں۔ اس سائٹ کے نام کے باوجود، BroadNet Inference ایک واحد فراہم کنندہ ہے؛ BroadNet کی شرائط کہتی ہیں کہ اس کے ماڈلز BroadNet کے اپنے یا لیز پر لیے گئے امریکی ہارڈویئر پر، یا امریکی انفرنس پارٹنرز کے ساتھ چلتے ہیں۔ ہر درخواست میں ماڈل آپ چنتے ہیں۔ آپ اسے کسی راؤٹر کے پیچھے ایک فراہم کنندہ کے طور پر رکھ سکتے ہیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں