BroadRouter

Artificial Analysis کے متبادل: 2026 میں LLMs کا موازنہ کہاں کریں

BroadNet Inference ٹیم · 7 منٹ کی پڑھائی · شائع شدہ

Artificial Analysis ہر API فراہم کنندہ کے لیے LLM کی رفتار، لیٹنسی اور انٹیلیجنس اسکورز کا بنیادی آزاد ماخذ ہے۔ ہر متبادل کچھ اور ناپتا ہے: Arena انسانی پسند کو رینک کرتا ہے، Epoch AI اور Vals AI بینچ مارک نتائج شائع کرتے ہیں، OpenRouter استعمال کو رینک کرتا ہے، اور BroadRouter (BroadNet کی سائٹ) جیسے قیمتوں کے ڈیٹابیس صرف قیمتیں دیتے ہیں۔ دو کو ساتھ استعمال کریں، پھر اپنے ڈیٹا پر ٹیسٹ کریں۔

LLM APIs کا موازنہ کرتے وقت Artificial Analysis اکثر پہلا پڑاؤ ہوتا ہے، کیونکہ وہ ہر فراہم کنندہ کو بھیجی گئی اصل درخواستوں کا وقت ناپتا ہے۔ لیکن یہ ایک ہی زاویہ ہے۔ دوسری سائٹس انسانی ووٹوں، بینچ مارک اسکورز، استعمال یا قیمت سے رینک کرتی ہیں، اور ہر ایک مختلف سوال کا جواب دیتی ہے۔ یہ گائیڈ بتاتی ہے کہ ہر ایک کیا ناپتا ہے، کیسے، آپ کون سا ڈیٹا لے جا سکتے ہیں، اور اسے کب استعمال کریں۔ نیچے کی ہر بات 15 نومبر 2026 کو سائٹ کے اپنے صفحات سے پڑھی گئی۔

پہلے ایک وضاحت: BroadRouter، BroadNet کی اپنی ویب سائٹ ہے۔ یہ ڈویلپرز کو BroadNet Inference کی طرف بھیجتی ہے اور قیمتوں کا ڈیٹا شائع کرتی ہے۔ یہ ماڈلز کو بینچ مارک نہیں کرتی، اور اس فہرست میں صرف قیمتوں کے لیے ہے۔

Artificial Analysis کس چیز میں اچھا ہے؟

Artificial Analysis خود کو “Independent analysis of AI” (ترجمہ: AI کا آزاد تجزیہ) کہتا ہے۔ اس کا طریقۂ کار کا صفحہ تین ایسی چیزیں بیان کرتا ہے جو کم ہی دوسرے کرتے ہیں:

  • ہر فراہم کنندہ اینڈپوائنٹ کی رفتار۔ آؤٹ پٹ رفتار ہے “output tokens per second over each request’s full duration” (ترجمہ: ہر درخواست کے پورے دورانیے میں فی سیکنڈ آؤٹ پٹ ٹوکن)، ریزننگ ٹوکن سمیت، جس کا اوسط “over the workloads we measured in the past 5 days” (ترجمہ: پچھلے 5 دنوں میں ناپے گئے ورک لوڈز پر) نکالا جاتا ہے۔ چونکہ ایک ماڈل “may have multiple endpoints across different providers” (ترجمہ: مختلف فراہم کنندگان پر کئی اینڈپوائنٹس رکھ سکتا ہے)، آپ دیکھ سکتے ہیں کہ وہی ماڈل ایک ہوسٹ پر دوسرے سے تیز چلتا ہے۔
  • موازنے کے قابل لیٹنسی۔ یہ پہلے ٹوکن تک کا وقت، پہلے جوابی ٹوکن تک کا وقت (جس میں ریزننگ شامل ہے، تاکہ ریزننگ اور بغیر ریزننگ والے ماڈلز کا موازنہ منصفانہ رہے) اور شروع سے آخر تک کا وقت بتاتا ہے۔
  • اپنی جانچیں۔ Intelligence Index v5.0.1 نو جانچوں کو چار برابر وزن والے گروہوں (نالج ورک، کوڈنگ، سائنس، عمومی) میں جوڑتا ہے۔ ان میں سے کئی اس کے اپنے بینچ مارکس ہیں یا دوسروں کے کاموں کے اس کے اپنے رنز، بیان کردہ تکرار کی تعداد کے ساتھ۔

اس کا فراہم کنندگان کا لیڈر بورڈ “over 500 AI Model endpoints” (ترجمہ: 500 سے زیادہ AI ماڈل اینڈپوائنٹس) کا احاطہ کرتا ہے، فی کام لاگت، فی کام وقت، پہلے جوابی ٹوکن کی لیٹنسی، ایرر ریٹ، کانٹیکسٹ ونڈو اور لائسنس کے ساتھ۔ قیمتیں “the current prices listed by providers” (ترجمہ: فراہم کنندگان کی درج کردہ موجودہ قیمتیں) ہیں، اور اس کی بلینڈڈ قیمت کیش ہٹ، ان پٹ اور آؤٹ پٹ ٹوکن کے 7:2:1 تناسب پر بنتی ہے۔ اگر آپ کے ورک لوڈ میں آؤٹ پٹ زیادہ ہے تو یہ تناسب ذہن میں بدل لیں۔

اگر آپ کو فراہم کنندہ کے حساب سے ناپی گئی رفتار اور ایرر ریٹ چاہییں تو اس کی جگہ لینا مشکل ہے۔ لوگ متبادل تب ڈھونڈتے ہیں جب انہیں کوئی الگ اشارہ چاہیے: انسانی پسند، کوئی خاص شعبہ، ڈاؤن لوڈ کے قابل خام ڈیٹا، یا ایسی قیمتوں کی فہرست جس کی ہر قطار کا ماخذ ہو۔

Artificial Analysis کے کون سے متبادل ہیں؟

سائٹ کیا ناپتی ہے طریقہ آپ کون سا ڈیٹا لے جا سکتے ہیں کس کے لیے بہترین
Artificial Analysis انٹیلیجنس انڈیکس، آؤٹ پٹ رفتار، لیٹنسی، ایرر ریٹ، فی اینڈپوائنٹ قیمت اپنی جانچیں اور وقت ناپی گئی درخواستیں چلاتا ہے؛ رفتار کے لیے 5 دن کی رولنگ ونڈو مفت API، حوالہ ضروری فراہم کنندہ کے حساب سے رفتار اور لیٹنسی
Arena (پہلے LMArena) انسانی پسند دو بے نام ماڈلز جواب دیتے ہیں، ایک شخص ووٹ دیتا ہے، نام بعد میں کھلتے ہیں Hugging Face پر کھلے ترجیحی ڈیٹاسیٹس لوگوں کو جوابات کیسے لگتے ہیں
Epoch AI Benchmarking Hub وقت کے ساتھ بینچ مارک اسکورز کچھ بینچ مارکس Inspect سے خود چلاتا ہے؛ باقی سرکاری لیڈر بورڈز سے جمع کرتا ہے CSV اور ایک Python کلائنٹ؛ اس کا ڈیٹا CC BY ہے رجحانات اور خام اسکورز
Vals AI شعبہ جاتی درستی، لاگت اور لیٹنسی 42 بینچ مارکس، کچھ نجی یا الگ رکھے گئے بینچ مارکس کے صفحے پر نہیں بتایا گیا قانون، فنانس، ٹیکس اور دوسرے شعبے
OpenRouter رینکنگ استعمال OpenRouter کے ذریعے پروسیس شدہ ٹوکن، روزانہ UTC حصوں میں قیمتوں کے ساتھ عوامی ماڈلز API ڈویلپرز اصل میں کیا چلاتے ہیں
Open LLM Leaderboard (Hugging Face) اوپن ویٹ ماڈلز کے اسکورز Eleuther AI harness میں چھ بینچ مارکس نتائج اور درخواستوں کے ڈیٹاسیٹس اوپن چیک پوائنٹس کا موازنہ
BroadRouter قیمتوں کا ڈیٹا (BroadNet کی سائٹ) صرف شائع شدہ قیمتیں ہر فراہم کنندہ کے اپنے قیمتوں کے صفحے سے، URL، تاریخ اور اقتباس کے ساتھ CSV اور JSON، مجموعے کے لیے CC BY 4.0 کسی قیمت کو اس کے ماخذ پر جانچنا

Arena کیسے مختلف ہے؟

Arena (lmarena.ai اب arena.ai پر ری ڈائریکٹ ہوتا ہے) اصل لوگوں سے دو بے نام جوابات کا موازنہ کروا کر ایک چنواتا ہے۔ ماڈلز کے نام ووٹ کے بعد ہی نظر آتے ہیں۔ یہ پسند ناپتا ہے، جس میں درستی کے ساتھ لہجہ، لمبائی اور فارمیٹنگ بھی شامل ہو جاتے ہیں۔ اس کے لیڈر بورڈ میں الگ الگ بورڈز ہیں، جن میں Text، WebDev، Vision، Document اور Search شامل ہیں، اور اس کا Pareto منظر فی کام لاگت دکھاتا ہے۔ Arena کہتا ہے کہ اس نے اپنا ترجیحی ڈیٹا Hugging Face پر اوپن سورس کیا ہے، جو مفید ہے اگر آپ صرف رینک پڑھنے کی بجائے ووٹوں کا مطالعہ کرنا چاہیں۔

اسے یہ دیکھنے کے لیے استعمال کریں کہ چیٹ کا جواب لوگوں کو کیسا لگتا ہے۔ API کے لیے فراہم کنندہ چننے میں اسے استعمال نہ کریں: یہ ماڈلز کو رینک کرتا ہے، ہوسٹس کو نہیں، اور کسی اینڈپوائنٹ کی رفتار کے بارے میں کچھ نہیں بتاتا۔

Epoch AI اور Vals AI کب بہتر انتخاب ہیں؟

Epoch AI بینچ مارک نتائج کا ایک ڈیٹابیس رکھتا ہے؛ جب ہم نے جانچا، وہ 99 بینچ مارکس اور 428 ماڈلز ٹریک کر رہا تھا۔ کچھ نتائج وہ Inspect فریم ورک سے خود چلاتا ہے؛ باقی بینچ مارک بنانے والوں کے سرکاری لیڈر بورڈز سے آتے ہیں۔ آپ ڈیٹا CSV کے طور پر ڈاؤن لوڈ کر سکتے ہیں یا اس کا Python کلائنٹ استعمال کر سکتے ہیں۔ اس کا اپنا ڈیٹا CC BY کے تحت حوالہ دے کر مفت دوبارہ استعمال کیا جا سکتا ہے؛ بیرونی ذرائع سے لیے گئے نتائج پر ان کے اصل لائسنس لاگو رہتے ہیں۔ جب آپ کو ایک انڈیکس نہیں بلکہ خام اسکورز یا رجحان کی لکیر چاہیے، تب Epoch چنیں۔

Vals AI قانون، فنانس، صحت، کوڈنگ، ریاضی اور دوسرے شعبوں میں 42 بینچ مارکس چلاتا ہے، اور کچھ سیٹس نجی یا الگ رکھے گئے ہیں، جس سے یہ خطرہ کم ہوتا ہے کہ کسی ماڈل کو ٹیسٹ پر ہی ٹرین کیا گیا ہو۔ اس کے لیڈر بورڈز درستی، لاگت اور لیٹنسی کا موازنہ کرتے ہیں، اور اس کا Inference Provider Index فراہم کنندگان کا موازنہ درستی، لاگت اور رفتار پر کرتا ہے۔ اس کا مجموعی Vals Index شعبوں کو امریکی GDP میں ان کے حصے کے مطابق وزن دیتا ہے۔ جب آپ کا کام اس کے کسی شعبے جیسا ہو، تب Vals چنیں۔

OpenRouter رینکنگ اصل میں کیا دکھاتی ہے؟

استعمال۔ ہر ماڈل “tokens it processed through the OpenRouter API” (ترجمہ: OpenRouter API کے ذریعے اس کے پروسیس کیے گئے ٹوکن) سے رینک ہوتا ہے، پرامپٹ اور completion ملا کر، پچھلے ایک، سات یا تیس دنوں میں۔ صفحہ صاف کہتا ہے کہ رینکنگ “do not rank models by accuracy, reasoning ability, or benchmark performance” (ترجمہ: ماڈلز کو درستی، استدلال کی صلاحیت یا بینچ مارک کارکردگی سے رینک نہیں کرتی)۔ لمبے جوابات لکھنے والا یا لمبے ایجنٹ لوپس میں چلنے والا ماڈل جدول میں اوپر چڑھ جاتا ہے۔ اسے مقبولیت کا اشارہ اور ٹیسٹ کے قابل ماڈلز کی فہرست سمجھ کر پڑھیں۔ OpenRouter کا ایک عوامی ماڈلز اینڈپوائنٹ بھی ہے جس میں ہر ماڈل کی قیمت ہے؛ وہ بتاتا ہے کہ OpenRouter کتنا لیتا ہے، یہ نہیں کہ ہر ہوسٹ براہِ راست کتنا لیتا ہے۔

کیا Hugging Face کا Open LLM Leaderboard اب بھی استعمال کے قابل ہے؟

اوپن ویٹ چیک پوائنٹس کے لیے جی ہاں، احتیاط کے ساتھ۔ Hugging Face کی دستاویزات کہتی ہیں کہ پہلا ورژن جون 2024 میں آرکائیو کر کے بدل دیا گیا۔ موجودہ ورژن ماڈلز کو Eleuther AI evaluation harness میں IFEval، BBH، MATH level 5، GPQA، MuSR اور MMLU-Pro پر اسکور کرتا ہے، اور نتائج ڈیٹاسیٹس کے طور پر شائع کرتا ہے۔ یہ ماڈل فائلوں کی جانچ کرتا ہے، ہوسٹڈ APIs کی نہیں، اس لیے یہ قیمت، رفتار یا کوئی فراہم کنندہ ماڈل کو کیسے چلاتا ہے، اس کے بارے میں نہیں بتا سکتا۔

عربی ماڈلز کا موازنہ کہاں کریں؟

عمومی لیڈر بورڈز عربی کے بارے میں کم بتاتے ہیں، اور Arena کے نظر آنے والے فلٹرز میں زبان شامل نہیں۔ Hugging Face کے دو Spaces اس کمی کا کچھ حصہ پورا کرتے ہیں:

  • عربی متن کے لیے Open Arabic LLM Leaderboard، جسے OALL تنظیم چلاتی ہے۔
  • اسپیچ ریکگنیشن کے لیے Open Universal Arabic ASR Leaderboard، جسے “a benchmark for open-source multi-dialect Arabic ASR models” (ترجمہ: اوپن سورس، کثیر لہجہ عربی ASR ماڈلز کا بینچ مارک) کہا گیا ہے۔ BroadNet اپنے Transcribe Arabic ماڈل کو 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) پر بتاتا ہے۔ یہ BroadNet کا عدد ہے، اور نئے ماڈلز شامل ہونے پر بورڈ بدلتا ہے۔

اسپیچ کے نتائج صرف اوسط میں نہیں، لہجے کے حساب سے پڑھیں۔ عربی ASR کا ورڈ ایرر ریٹ سمجھیں بتاتا ہے کہ کیسے۔

BroadRouter کا قیمتوں کا ڈیٹا کہاں فٹ ہوتا ہے؟

BroadRouter قیمتوں کے تین وسائل شائع کرتا ہے: ہر ماڈل کے LLM API قیمتوں کے صفحات، میڈین اور پھیلاؤ والا پرائس انڈیکس، اور فراہم کنندگان کی قیمتوں کا خام ڈیٹابیس۔ ہر قطار فراہم کنندہ کے اپنے قیمتوں کے صفحے سے پڑھی جاتی ہے اور ماخذ URL، تاریخ اور لفظ بہ لفظ اقتباس کے ساتھ رکھی جاتی ہے، اور ایک ہفتہ وار اسکرپٹ ذرائع کو دوبارہ ڈاؤن لوڈ کرتی ہے۔ کوئی ایگریگیٹر فیڈ استعمال نہیں ہوتی۔

یہ کیا نہیں کرتا، یہ بھی اتنا ہی اہم ہے:

  • یہ کوئی رفتار، لیٹنسی، اپ ٹائم یا معیار نہیں ناپتا۔ ان کے لیے Artificial Analysis، Arena، Epoch AI یا Vals AI استعمال کریں۔
  • اس میں صرف تیسرے فریق کی قیمتیں ہیں۔ BroadNet کی اپنی قیمتیں اس کی pricing.json میں اور قیمتوں کے صفحے پر ہیں۔
  • یہ BroadNet کی سائٹ ہے، اس لیے اسے ایک وینڈر کا مجموعہ سمجھیں جسے آپ قطار بہ قطار جانچ سکتے ہیں، غیر جانبدار جج نہیں۔

ان سائٹس کو ساتھ کیسے استعمال کریں؟

  1. معیار پر شارٹ لسٹ بنائیں۔ چیٹ کے تاثر کے لیے Arena، اور اپنے شعبے کے کاموں کے اسکورز کے لیے Epoch AI یا Vals AI استعمال کریں۔ تین سے پانچ ماڈلز رکھیں۔
  2. جو ہوسٹ استعمال کریں گے، اس پر رفتار جانچیں۔ Artificial Analysis ہر اینڈپوائنٹ کی رفتار اور لیٹنسی دکھاتا ہے۔ LLM لیٹنسی کی وضاحت بتاتی ہے کہ آپ کی ایپ کے لیے کون سا عدد اہم ہے۔
  3. قیمت ماخذ پر جانچیں۔ فراہم کنندگان ڈھونڈنے کے لیے قیمتوں کا ڈیٹابیس استعمال کریں، پھر ہر فراہم کنندہ کا اپنا صفحہ کھولیں۔ کیش شدہ ان پٹ اور آؤٹ پٹ کی قیمتوں پر نظر رکھیں، جو کئی ورک لوڈز میں ان پٹ سے زیادہ بل پر اثر ڈالتی ہیں۔
  4. اپنے ڈیٹا پر ٹیسٹ کریں۔ ہر فائنلسٹ پر 50 سے 100 اصل ان پٹس چلائیں اور انہیں اسکور کریں۔ کوئی بینچ مارک آپ کے نتائج کی پیش گوئی اتنی ہی کر سکتا ہے جتنا اس کے کام آپ کے کاموں جیسے ہیں۔ ماڈل بدلنے سے پہلے LLM کی جانچ کیسے کریں طریقہ بتاتا ہے، اور 20 سوالات کی فراہم کنندہ چیک لسٹ حدیں، پرائیویسی اور سپورٹ کا احاطہ کرتی ہے۔

BroadNet Inference کہاں آتا ہے

BroadNet Inference ایک OpenAI-compatible API ہے، لیڈر بورڈ نہیں۔ یہ چند ہی ماڈلز چلاتا ہے: DeepSeek V4.1 Flash (پارٹنر پر ہوسٹڈ)، GLM 5.3، Qwen3.8 27B، Gemma 4 VL 26B اور دو اسپیچ ٹو ٹیکسٹ ماڈلز۔ ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے دستاویزی ہیں۔ سیلف سروس اکاؤنٹس پر کوئی SLA نہیں، اور کوئی batch API یا embeddings نہیں۔ اگر ان میں سے کوئی ماڈل آپ کی شارٹ لسٹ میں آتا ہے، تو $5 کا ابتدائی کریڈٹ Gemma 4 VL 26B، دونوں Transcribe ماڈلز اور Gemma کی گھنٹے والی کلیدوں کا احاطہ کرتا ہے، تاکہ آپ ادائیگی سے پہلے اپنے ان پٹس پر چوتھا مرحلہ چلا سکیں؛ DeepSeek، GLM اور Qwen کے لیے ٹاپ اپ چاہیے۔ پرامپٹس اور جوابات محفوظ نہیں رکھے جاتے۔ ماڈلز کا موازنہ کریں یا اکاؤنٹ بنائیں۔

عام سوالات

Artificial Analysis کا بہترین متبادل کیا ہے؟

یہ اس پر منحصر ہے کہ آپ کیا موازنہ کرنا چاہتے ہیں۔ انسانی پسند کے لیے Arena۔ ڈاؤن لوڈ کے قابل بینچ مارک اسکورز کے لیے Epoch AI۔ قانون، فنانس اور ٹیکس جیسے شعبوں کے کاموں کے لیے Vals AI۔ ڈویلپرز اصل میں کیا چلاتے ہیں، یہ جاننے کے لیے OpenRouter رینکنگ۔ فراہم کنندہ کے حساب سے ناپی گئی رفتار کے لیے ان سائٹس میں Artificial Analysis کا کوئی قریبی متبادل نہیں۔

کیا Artificial Analysis کا کوئی API ہے؟

جی ہاں۔ اس کی دستاویزات (15 نومبر 2026 کو جانچی گئیں) ایک مفت API بیان کرتی ہیں جو "focused on model benchmarks" (ترجمہ: ماڈل بینچ مارکس پر مرکوز) ہے، اور جس کی کلید اس کے Insights Platform سے ملتی ہے۔ مفت API کے ہر استعمال میں artificialanalysis.ai کا حوالہ دینا ضروری ہے۔ زیادہ ڈیٹا والا ایک کمرشل API پارٹنرز کو دیا جاتا ہے۔

کیا Hugging Face کا Open LLM Leaderboard اب بھی مفید ہے؟

Hugging Face کی دستاویزات کے مطابق اس کا پہلا ورژن جون 2024 میں آرکائیو کر دیا گیا۔ ورژن 2 اوپن ویٹ ماڈلز کو IFEval، GPQA اور MMLU-Pro جیسے چھ بینچ مارکس پر اسکور کرتا ہے، اور نتائج عوامی ڈیٹاسیٹس میں دیتا ہے۔ یہ اوپن ویٹ چیک پوائنٹس کا احاطہ کرتا ہے، ہوسٹڈ APIs کا نہیں، اور قیمت یا رفتار کے بارے میں کچھ نہیں بتاتا۔

کیا OpenRouter رینکنگ بتاتی ہے کہ کون سا ماڈل بہترین ہے؟

نہیں۔ رینکنگ کا صفحہ کہتا ہے کہ وہ OpenRouter کے ذریعے پروسیس شدہ ٹوکن گنتی ہے اور "do not rank models by accuracy, reasoning ability, or benchmark performance" (ترجمہ: ماڈلز کو درستی، استدلال کی صلاحیت یا بینچ مارک کارکردگی سے رینک نہیں کرتی)۔ وہ مقبولیت دکھاتی ہے، جسے لمبے جواب دینے والے ماڈلز اور لمبے ایجنٹ لوپس بڑھا دیتے ہیں۔

کیا BroadRouter ماڈلز کو بینچ مارک کرتا ہے؟

نہیں۔ BroadRouter، BroadNet کی اپنی ویب سائٹ ہے۔ وہ فراہم کنندگان کے اپنے صفحات سے پڑھی گئی قیمتیں ماخذ اور تاریخ کے ساتھ شائع کرتا ہے، اور ٹوکنائزر کی پیمائشیں بھی۔ وہ رفتار، لیٹنسی یا جواب کا معیار نہیں ناپتا، اس لیے وہ Artificial Analysis یا کسی بینچ مارک سائٹ کا متبادل نہیں۔

عربی ماڈلز کا موازنہ کہاں کروں؟

عربی متن کے لیے Hugging Face پر Open Arabic LLM Leaderboard (OALL)۔ عربی اسپیچ ریکگنیشن کے لیے Open Universal Arabic ASR Leaderboard، جو خود کو اوپن سورس، کثیر لہجہ عربی ASR ماڈلز کا بینچ مارک بتاتا ہے۔ ورڈ ایرر ریٹ صرف اوسط میں نہیں، لہجے کے حساب سے پڑھیں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں

ذرائع