BroadRouter
شروع کریں

ٹوکن (token)

اپ ڈیٹ

ٹوکن متن کی وہ اکائی ہے جسے لینگویج ماڈل پڑھتا اور لکھتا ہے: کوئی لفظ، لفظ کا حصہ، رموزِ اوقاف کی کوئی علامت یا بائٹس کا سلسلہ، جو ماڈل کا ٹوکنائزر بناتا ہے۔ LLM API استعمال کو ٹوکنز میں گنتے ہیں، انہی میں حدیں لگاتے ہیں اور عموماً بل بھی بناتے ہیں۔

دوسرے نام: ٹوکن، ٹوکنز، LLM ٹوکن، ٹوکنائزیشن، token kya hai، token kya hota hai، LLM token، token، tokens، tokenization

ماڈل حروف یا الفاظ نہیں دیکھتے۔ وہ عددِ صحیح کا ایک سلسلہ دیکھتے ہیں، جن میں سے ہر ایک کسی مقررہ ذخیرۂ الفاظ کے متن کے ایک ٹکڑے کی نمائندگی کرتا ہے۔ یہی ٹکڑے ٹوکن ہیں۔

یہ کیسے کام کرتا ہے

ماڈل کے پڑھنے سے پہلے ایک ٹوکنائزر متن کو تقسیم کرتا ہے۔ زیادہ تر جدید ماڈلز سب ورڈ طریقے استعمال کرتے ہیں، جیسے byte pair encoding (BPE)۔ عام الفاظ پورے رہتے ہیں؛ نایاب الفاظ حصوں میں ٹوٹ جاتے ہیں۔ Hugging Face کی مثال: annoyingly بدل کر annoying اور ly بن سکتا ہے۔

بائٹ لیول BPE، 256 بائٹ قدروں سے شروع ہوتا ہے، اس لیے کوئی بھی ان پٹ انکوڈ ہو سکتا ہے، ایموجی اور ہر رسم الخط سمیت۔

انگریزی کے لیے OpenAI کا موٹا اصول یہ ہے کہ ایک ٹوکن تقریباً 4 حروف یا 0.75 الفاظ کا ہوتا ہے، یعنی 100 ٹوکن تقریباً 75 الفاظ۔ پانچ موجودہ ٹوکنائزرز پر انگریزی نثر کی ہماری اپنی پیمائش میں فی 100 الفاظ تقریباً 129 ٹوکن، یا فی 1,000 الفاظ 1,290 ٹوکن آئے، جو موٹے اصول کے قریب ہے۔ دونوں تناسب صرف اندازے ہیں:

  • دوسری زبانیں، عربی سمیت، زیادہ تر انگریزی پر تربیت یافتہ ٹوکنائزرز پر اکثر فی لفظ زیادہ ٹوکنز میں بٹتی ہیں؛
  • کوڈ، اعداد اور خالی جگہیں نثر سے مختلف انداز میں ٹوکنائز ہوتی ہیں؛
  • ہر ماڈل فیملی کا اپنا ذخیرۂ الفاظ ہوتا ہے۔

بھیجنے سے پہلے اندازہ لگانے کے لیے متن ٹوکن کاؤنٹر میں پیسٹ کریں۔ API ہر ریسپانس کے usage بلاک میں اصل گنتی بتاتا ہے:

"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }

یہ کیوں اہم ہے

LLM API کے تقریباً ہر عدد کے پیچھے اکائی ٹوکن ہی ہے:

ایک ہی متن مختلف ماڈلز پر مختلف تعداد کے ٹوکن ہو سکتا ہے، خاص طور پر عربی میں۔ ٹوکنائزر کارکردگی ڈیٹا سیٹ ہر ماڈل کے لیے انگریزی، عربی اور کوڈ میں فی 100 الفاظ ٹوکن ناپتا ہے۔

BroadNet Inference پر

چیٹ ماڈلز کی قیمت فی دس لاکھ ٹوکن ہے۔ DeepSeek V4.1 Flash کے لیے نیا ان پٹ $0.175، کیش شدہ ان پٹ $0.0055 اور آؤٹ پٹ $0.52 کا ہے۔ BroadNet Gemma 4 VL 26B کا ان پٹ $0.10 اور آؤٹ پٹ $0.22 ہے۔ ہر ماڈل کی شرحیں قیمتوں کے صفحے پر ہیں۔

مقررہ قیمت والے پلان پر ٹوکنز کا میٹر ہی نہیں ہوتا: DeepSeek V4.1 Flash کے سیشن میں کوئی ٹوکن میٹر نہیں، اور عملی حد رفتار ہے، تقریباً 100 ٹوکن فی سیکنڈ۔ اسپیچ ٹو ٹیکسٹ ماڈلز کا بل فی ٹوکن نہیں، فی آڈیو منٹ بنتا ہے۔

عام غلطیاں

  • غیر انگریزی متن کی لاگت الفاظ کی گنتی سے لگانا۔ حقیقی نمونوں پر usage سے ناپیں۔
  • یہ بھول جانا کہ ریزننگ ماڈلز سوچنے پر بھی آؤٹ پٹ ٹوکن خرچ کرتے ہیں۔ دیکھیں ریزننگ ٹوکنز۔

عام سوالات

1,000 ٹوکن میں کتنے الفاظ ہوتے ہیں؟

انگریزی نثر میں، پانچ ٹوکنائزرز پر BroadRouter کی اپنی پیمائش کے مطابق تقریباً 775 الفاظ (1,000 انگریزی الفاظ تقریباً 1,290 ٹوکن بنے)۔ OpenAI کا موٹا اصول، کہ ایک ٹوکن تقریباً تین چوتھائی لفظ ہوتا ہے، 750 دیتا ہے۔ دوسری زبانوں، کوڈ اور دوسرے ماڈلز کے ٹوکنائزرز میں تناسب مختلف ہوتا ہے، اس لیے جب درست عدد اہم ہو تو ماڈل کے اپنے ٹوکنائزر سے گنیں۔

کیا تصاویر اور آڈیو بھی ٹوکنز میں گنے جاتے ہیں؟

وژن ماڈل کو بھیجی گئی تصاویر ان پٹ ٹوکنز میں بدلی جاتی ہیں، اور بڑی تصاویر عموماً زیادہ ٹوکن لیتی ہیں۔ اسپیچ ٹو ٹیکسٹ API کی قیمت اکثر فی ٹوکن کے بجائے فی آڈیو منٹ ہوتی ہے۔

ایک ہی متن دو ماڈلز پر مختلف تعداد کے ٹوکن کیوں لیتا ہے؟

ہر ماڈل فیملی کا اپنا ٹوکنائزر اور ذخیرۂ الفاظ ہوتا ہے، اس لیے ایک ہی جملہ مختلف تعداد کے ٹکڑوں میں تقسیم ہو سکتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں