لا ترى النماذج حروفًا ولا كلمات. إنها ترى سلسلة من الأعداد الصحيحة، يمثّل كلٌّ منها قطعة من النص من مفردات ثابتة. هذه القطع هي الرموز (التوكنات).
كيف يعمل
يقسّم المجزّئ (tokenizer) النص قبل أن يقرأه النموذج. تستخدم معظم النماذج الحديثة أساليب تقسيم إلى أجزاء كلمات، مثل ترميز أزواج البايتات (BPE). تبقى الكلمات الشائعة كاملة، وتنقسم الكلمات النادرة إلى أجزاء. ومثال Hugging Face على ذلك: قد تصبح annoyingly جزأين هما annoying وly.
يبدأ BPE على مستوى البايت من 256 قيمة بايت، لذا يمكن ترميز أي مدخل، بما في ذلك الرموز التعبيرية وكل أنظمة الكتابة.
في الإنجليزية، القاعدة التقريبية لدى OpenAI هي نحو 4 أحرف أو 0.75 كلمة لكل رمز، أي أن 100 رمز تعادل نحو 75 كلمة. وأعطى قياسنا للنثر الإنجليزي على خمسة مجزّئات حالية نحو 129 رمزًا لكل 100 كلمة، أو 1,290 رمزًا لكل 1,000 كلمة، وهو قريب من القاعدة التقريبية. وكلتا النسبتين تقدير فقط:
- اللغات الأخرى، ومنها العربية، تنقسم غالبًا إلى رموز أكثر لكل كلمة في المجزّئات المدرَّبة أساسًا على الإنجليزية؛
- تُجزّأ الشيفرة والأرقام والمسافات بطريقة تختلف عن النثر؛
- لكل عائلة نماذج مفرداتها الخاصة.
لتقدير العدد قبل الإرسال، الصق النص في عدّاد الرموز. وتُبلغ الواجهة عن العدد الفعلي في كتلة usage في كل استجابة:
"usage": { "prompt_tokens": 1200, "completion_tokens": 340, "total_tokens": 1540 }
لماذا يهم
الرموز هي الوحدة التي يقوم عليها كل رقم تقريبًا في LLM API:
- السعر. تحتسب الواجهات المسعَّرة بالرمز التكلفة لكل مليون رمز إدخال وإخراج، وغالبًا بسعرين مختلفين.
- الحدود. تُقاس نافذة السياق و
max_tokensبالرموز، وكثير من حدود المعدل تَعُدّ الرموز في الدقيقة. - السرعة. تُذكر سرعة التوليد بالرموز في الثانية.
قد يكون النص نفسه عددًا مختلفًا من الرموز في نماذج مختلفة، خصوصًا بالعربية. وتقيس مجموعة بيانات كفاءة المجزّئات عدد الرموز لكل 100 كلمة لكل نموذج بالإنجليزية والعربية والشيفرة.
في BroadNet Inference
تُسعَّر نماذج المحادثة لكل مليون رمز. ففي DeepSeek V4.1 Flash يكلّف الإدخال الجديد $0.175، والإدخال المخزّن مؤقتًا $0.0055، والإخراج $0.52. ويكلّف BroadNet Gemma 4 VL 26B $0.10 للإدخال و$0.22 للإخراج. وتجد أسعار كل النماذج في صفحة الأسعار.
أما في الخطة ثابتة السعر فلا تُعَدّ الرموز إطلاقًا: لا يوجد عدّاد للرموز في جلسة DeepSeek V4.1 Flash، والحد العملي هو السرعة، نحو 100 رمز في الثانية. وتُحتسب نماذج تحويل الكلام إلى نص لكل دقيقة صوت، لا لكل رمز.
أخطاء شائعة
- تقدير التكلفة من عدد الكلمات لنص غير إنجليزي. قِس باستخدام
usageعلى عيّنات حقيقية. - نسيان أن نماذج الاستدلال المنطقي تنفق أيضًا رموز إخراج على التفكير. راجع رموز الاستدلال المنطقي.