BroadRouter
شروع کریں

انفرنس فراہم کنندہ (inference provider)

اپ ڈیٹ

انفرنس فراہم کنندہ وہ کمپنی ہے جو مشین لرننگ ماڈلز، اکثر اوپن ویٹ LLM، اپنے، لیز پر لیے یا کرائے کے GPUs پر چلاتی ہے اور API کے ذریعے ان تک رسائی بیچتی ہے، عموماً فی ٹوکن، فی درخواست یا فی وقت کی اکائی قیمت پر۔ سرونگ، اسکیلنگ اور ہارڈ ویئر وہی سنبھالتی ہے۔

دوسرے نام: انفرنس فراہم کنندہ، LLM API فراہم کنندہ، LLM ہوسٹنگ، inference provider kya hai، inference provider، LLM inference provider، LLM API provider، model hosting provider، AI inference provider

جب کوئی اوپن ویٹ ماڈل ریلیز ہوتا ہے، تب بھی کسی کو اسے چلانا پڑتا ہے۔ انفرنس فراہم کنندگان وہی کمپنیاں ہیں۔

یہ کیسے کام کرتا ہے

فراہم کنندہ ماڈل کے ویٹس GPUs پر لوڈ کرتا ہے، سرونگ سافٹ ویئر چلاتا ہے جو درخواستوں کو بیچ کرتا اور میموری سنبھالتا ہے، اور آگے ایک API رکھتا ہے۔ زیادہ تر OpenAI-compatible API فراہم کرتے ہیں، اس لیے آپ base URL، کلید اور ماڈل ID بدل کر فراہم کنندہ بدل سکتے ہیں۔

اس اصطلاح میں کچھ قسم کے کاروبار آتے ہیں:

  • ماڈل لیبز، جو اپنے ماڈلز پیش کرتی ہیں۔
  • آزاد ہوسٹس، جو کئی لیبز کے اوپن ویٹ ماڈلز پیش کرتے ہیں۔
  • کلاؤڈز، جو GPUs یا منیجڈ اینڈپوائنٹس کرائے پر دیتے ہیں، کبھی کبھی فی GPU گھنٹہ بل کے ساتھ۔
  • ایگریگیٹرز۔ Hugging Face کے Inference Providers ایک ہی ٹوکن سے “hundreds of machine learning models, powered by world-class inference providers” (ترجمہ: عالمی معیار کے انفرنس فراہم کنندگان کے چلائے ہوئے سینکڑوں مشین لرننگ ماڈلز) تک رسائی دیتے ہیں۔ LLM راؤٹر بھی اسی طرح کام کرتا ہے۔

API کی ساخت مشترک ہے، اس لیے وہی کوڈ ان میں سے کسی پر بھی چلتا ہے۔ صرف تین قدریں بدلتی ہیں: فراہم کنندہ (base URL)، اس کی کلید اور اس کا ماڈل ID:

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

قیمت کا طریقہ بھی مختلف ہوتا ہے: فی ٹوکن، فی آڈیو منٹ، فی گھنٹہ، یا فی سیشن مقررہ۔

یہ کیوں اہم ہے

فراہم کنندہ چننا زیادہ تر ایسے سمجھوتے چننا ہے جو ماڈل کے نام میں نظر نہیں آتے:

  • ڈیٹا کا انتظام۔ ریٹینشن، لاگنگ اور تربیت میں استعمال مختلف ہوتے ہیں۔ تحریری زیرو ڈیٹا ریٹینشن پالیسی دیکھیں۔
  • یہ کہاں چلتا ہے۔ تعمیل کے لیے ریجن اور سب پروسیسرز اہم ہیں۔
  • حدیں۔ concurrency، ریٹ لمٹس اور کانٹیکسٹ کی لمبائی ماڈل کی زیادہ سے زیادہ صلاحیت سے کم ہو سکتی ہیں۔
  • سرونگ کے فیصلے۔ پریسیژن اور سرونگ سیٹنگز رفتار پر، اور کبھی کبھی آؤٹ پٹ پر، اثر ڈالتی ہیں۔
  • قیمت کی ساخت۔ درست ساخت آپ کی ٹریفک پر منحصر ہے؛ دیکھیں فراہم کنندگان کی قیمتوں کا موازنہ۔
  • قیمت کی سطح۔ ایک ہی اوپن ماڈل ایک فراہم کنندہ پر دوسرے سے کئی گنا مہنگا ہو سکتا ہے۔ دیکھیں ایک ہی ماڈل، مختلف ہوسٹ۔

BroadNet Inference پر

BroadNet Inference ایک انفرنس فراہم کنندہ ہے۔ اس کا پرائیویسی بیان کہتا ہے کہ اس کے اپنے ماڈلز اور اس کے ہوسٹ کیے گئے اوپن ویٹ ماڈلز “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (ترجمہ: امریکہ میں BroadNet کے اپنے یا لیز پر لیے گئے ہارڈ ویئر پر چلتے ہیں، بیک اپ کے لیے پارٹنر کی صلاحیت کے ساتھ)، اور پارٹنرز کے پیش کردہ ماڈلز امریکی انفرنس پارٹنرز کے ساتھ زیرو ڈیٹا ریٹینشن کی شرائط پر چلتے ہیں۔ درخواست اور ریسپانس کا مواد محفوظ نہیں رکھا جاتا۔

یہ https://inference.broadnet.ai/v1 پر OpenAI-compatible API کے ذریعے چیٹ ماڈلز پیش کرتا ہے، جن میں DeepSeek V4.1 Flash اور GLM 5.3 شامل ہیں، اور دو اسپیچ ٹو ٹیکسٹ ماڈلز۔ بلنگ فی ٹوکن یا فی آڈیو منٹ استعمال کے مطابق ادائیگی، ایک گھنٹے والی کلید، یا DeepSeek V4.1 Flash کے مقررہ قیمت والے پلانز سے ہوتی ہے۔ اپنے معیارات پر اس کا دوسروں سے موازنہ کرنے کے لیے فراہم کنندہ چیک لسٹ استعمال کریں۔

عام سوالات

انفرنس فراہم کنندہ اور LLM راؤٹر میں کیا فرق ہے؟

فراہم کنندہ ماڈلز خود چلاتا ہے، اپنے، لیز پر لیے یا کرائے کے ہارڈ ویئر پر۔ راؤٹر آپ کی درخواست ایک API اور ایک بل کے ذریعے کئی فراہم کنندگان میں سے کسی ایک کو آگے بھیجتا ہے۔ کچھ کمپنیاں دونوں کام کرتی ہیں۔

کیا ایک ہی اوپن ماڈل چلانے والے دو فراہم کنندگان ایک جیسے جواب دیتے ہیں؟

ہمیشہ نہیں۔ پریسیژن، کانٹیکسٹ کی حدیں، ڈیفالٹ سیٹنگز اور سرونگ سافٹ ویئر مختلف ہو سکتے ہیں، اس لیے آؤٹ پٹ بھی مختلف ہو سکتے ہیں۔ تبدیلی سے پہلے اپنے پرامپٹس پر ٹیسٹ کریں۔

انفرنس فراہم کنندہ کیسے بدلیں؟

OpenAI-compatible API میں تین قدریں بدلیں: base URL، API کلید اور ماڈل ID۔ پھر اپنا eval دوبارہ چلائیں، کیونکہ ایک ہی ماڈل دوسرے فراہم کنندہ پر مختلف رویہ دکھا سکتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں