ماڈل حروف یا الفاظ نہیں دیکھتے۔ وہ عددِ صحیح کا ایک سلسلہ دیکھتے ہیں، جن میں سے ہر ایک کسی مقررہ ذخیرۂ الفاظ کے متن کے ایک ٹکڑے کی نمائندگی کرتا ہے۔ یہی ٹکڑے ٹوکن ہیں۔
یہ کیسے کام کرتا ہے
ماڈل کے پڑھنے سے پہلے ایک ٹوکنائزر متن کو تقسیم کرتا ہے۔ زیادہ تر جدید ماڈلز سب ورڈ طریقے استعمال کرتے ہیں، جیسے byte pair encoding (BPE)۔ عام الفاظ پورے رہتے ہیں؛ نایاب الفاظ حصوں میں ٹوٹ جاتے ہیں۔ Hugging Face کی مثال: annoyingly بدل کر annoying اور ly بن سکتا ہے۔
بائٹ لیول BPE، 256 بائٹ قدروں سے شروع ہوتا ہے، اس لیے کوئی بھی ان پٹ انکوڈ ہو سکتا ہے، ایموجی اور ہر رسم الخط سمیت۔
انگریزی کے لیے OpenAI کا موٹا اصول یہ ہے کہ ایک ٹوکن تقریباً 4 حروف یا 0.75 الفاظ کا ہوتا ہے، یعنی 100 ٹوکن تقریباً 75 الفاظ۔ پانچ موجودہ ٹوکنائزرز پر انگریزی نثر کی ہماری اپنی پیمائش میں فی 100 الفاظ تقریباً 129 ٹوکن، یا فی 1,000 الفاظ 1,290 ٹوکن آئے، جو موٹے اصول کے قریب ہے۔ دونوں تناسب صرف اندازے ہیں:
- دوسری زبانیں، عربی سمیت، زیادہ تر انگریزی پر تربیت یافتہ ٹوکنائزرز پر اکثر فی لفظ زیادہ ٹوکنز میں بٹتی ہیں؛
- کوڈ، اعداد اور خالی جگہیں نثر سے مختلف انداز میں ٹوکنائز ہوتی ہیں؛
- ہر ماڈل فیملی کا اپنا ذخیرۂ الفاظ ہوتا ہے۔
بھیجنے سے پہلے اندازہ لگانے کے لیے متن ٹوکن کاؤنٹر میں پیسٹ کریں۔ API ہر ریسپانس کے usage بلاک میں اصل گنتی بتاتا ہے:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
یہ کیوں اہم ہے
LLM API کے تقریباً ہر عدد کے پیچھے اکائی ٹوکن ہی ہے:
- قیمت۔ فی ٹوکن API، دس لاکھ (1M) ان پٹ اور آؤٹ پٹ ٹوکنز کے حساب سے بل بناتے ہیں، اکثر الگ الگ شرحوں پر۔
- حدیں۔ کانٹیکسٹ ونڈو اور
max_tokensٹوکنز میں ناپے جاتے ہیں، اور کئی ریٹ لمٹس فی منٹ ٹوکن گنتی ہیں۔ - رفتار۔ جنریشن کی رفتار فی سیکنڈ ٹوکنز میں بتائی جاتی ہے۔
ایک ہی متن مختلف ماڈلز پر مختلف تعداد کے ٹوکن ہو سکتا ہے، خاص طور پر عربی میں۔ ٹوکنائزر کارکردگی ڈیٹا سیٹ ہر ماڈل کے لیے انگریزی، عربی اور کوڈ میں فی 100 الفاظ ٹوکن ناپتا ہے۔
BroadNet Inference پر
چیٹ ماڈلز کی قیمت فی دس لاکھ ٹوکن ہے۔ DeepSeek V4.1 Flash کے لیے نیا ان پٹ $0.175، کیش شدہ ان پٹ $0.0055 اور آؤٹ پٹ $0.52 کا ہے۔ BroadNet Gemma 4 VL 26B کا ان پٹ $0.10 اور آؤٹ پٹ $0.22 ہے۔ ہر ماڈل کی شرحیں قیمتوں کے صفحے پر ہیں۔
مقررہ قیمت والے پلان پر ٹوکنز کا میٹر ہی نہیں ہوتا: DeepSeek V4.1 Flash کے سیشن میں کوئی ٹوکن میٹر نہیں، اور عملی حد رفتار ہے، تقریباً 100 ٹوکن فی سیکنڈ۔ اسپیچ ٹو ٹیکسٹ ماڈلز کا بل فی ٹوکن نہیں، فی آڈیو منٹ بنتا ہے۔
عام غلطیاں
- غیر انگریزی متن کی لاگت الفاظ کی گنتی سے لگانا۔ حقیقی نمونوں پر
usageسے ناپیں۔ - یہ بھول جانا کہ ریزننگ ماڈلز سوچنے پر بھی آؤٹ پٹ ٹوکن خرچ کرتے ہیں۔ دیکھیں ریزننگ ٹوکنز۔