طلب المحادثة يؤدي مهمتين مختلفتين: قراءة الأمر، ثم كتابة الإجابة. ويسميهما مهندسو الاستدلال prefill وdecode، وسلوكهما على GPU مختلف جدًا.
كيف يعمل
- الملء المسبق (prefill). يقرأ النموذج كل رموز الأمر في تمريرة واحدة متوازية، ويخزّن مفاتيح الانتباه وقيمه لكل رمز في ذاكرة KV المؤقتة. ولا يُعاد شيء بعد.
- فك الترميز (decode). يولّد النموذج رمزًا واحدًا، ويضيف مفاتيحه وقيمه إلى الذاكرة المؤقتة، ويكرر ذلك حتى يتوقف أو يبلغ
max_tokens.
تعرض ورقة Sarathi-Serve التباين بوضوح: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (ترجمة: دورات الملء المسبق عالية الكمون لكنها تستنفد قدرة GPU الحسابية بسبب المعالجة المتوازية لأمر الإدخال)، بينما “decode iterations have low latency but also low compute utilization.” (ترجمة: دورات فك الترميز منخفضة الكمون لكنها منخفضة الاستفادة من القدرة الحسابية أيضًا.)
وتقابل المرحلتان رقمَي زمن الاستجابة اللذين يشعر بهما المستخدمون. وتسمّيهما ورقة DistServe: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (ترجمة: زمن أول رمز (TTFT) لمرحلة الملء المسبق، والزمن لكل رمز إخراج (TPOT) لكل طلب لمرحلة فك الترميز.)
مثال تطبيقي: طلب بأمر من 20,000 رمز وإجابة من 300 رمز ينفّذ الملء المسبق لكل الرموز الـ 20,000 قبل أن يظهر أول رمز متدفق، ثم 300 خطوة فك ترميز متتابعة. وتقصير الأمر إلى النصف يقلّص انتظار أول رمز، لكنه لا يغيّر سرعة وصول الرموز الـ 300.
لماذا يهم
- زمن أول رمز يتبع حجم الأمر. أوامر النظام الطويلة والمستندات وقوائم الأدوات كلها تضيف عمل ملء مسبق. والبادئات المخزّنة مؤقتًا تتخطى جزءًا منه، ولهذا قد تجعل رموز الإدخال المخزّنة مؤقتًا الأوامر الطويلة تبدأ أسرع.
- الرموز في الثانية رقم يخص فك الترميز. سرعة الإخراج تعتمد على سرعة تنفيذ كل خطوة فك ترميز، وهي ما يحاول فك الترميز التخميني رفعه.
- المرحلتان تتداخلان. حين يشغّل الخادم الاثنتين على GPU واحدة، قد يوقف ملء مسبق كبير عمليات فك الترميز لدى مستخدمين آخرين. وتفيد DistServe بوجود “strong prefill-decoding interferences” (ترجمة: تداخلات قوية بين الملء المسبق وفك الترميز) وتنقل المرحلتين إلى وحدات GPU مختلفة. أما Sarathi-Serve فـ “splits a prefill request into near equal sized chunks” (ترجمة: تقسّم طلب الملء المسبق إلى أجزاء شبه متساوية الحجم) وتجدولها “without pausing ongoing decodes” (ترجمة: دون إيقاف عمليات فك الترميز الجارية).
- المحركات تكشف المفاضلة. يقول دليل الضبط في vLLM إن الملء المسبق المجزّأ يتيح له تجميع أجزاء الملء المسبق مع طلبات فك الترميز في دفعة واحدة. فقيمة أصغر لـ
max_num_batched_tokensتحسّن الكمون بين الرموز، بينما تفضّل القيمة الأكبر TTFT والإنتاجية.
ويبيّن دليل زمن الاستجابة وTTFT والإنتاجية كيف تقيس المرحلتين من جهة العميل.
في BroadNet Inference
لا تنشر BroadNet كيف تجدول خوادمها الملء المسبق وفك الترميز. ما تستطيع رؤيته هو الأثر: بُثّ استجابة كما في دليل البث المتدفق، وسجّل الزمن حتى أول جزء من المحتوى (في الغالب ملء مسبق مع وقت الانتظار في الطابور) ومعدل الأجزاء بعده (فك الترميز). وعلى GLM 5.3 وDeepSeek V4.1 Flash وQwen3.8 27B تُولَّد رموز الاستدلال المنطقي في فك الترميز أيضًا، فتؤخّر الإجابة المرئية وتُحتسب ضمن max_tokens.
أخطاء شائعة
- لوم سرعة إخراج النموذج على بطء أول رمز. تحقّق من طول الأمر أولًا.
- قياس الأداء بأمر صغير جدًا. فالأوامر الحقيقية ذات السياق الطويل لها ملء مسبق أطول بكثير.