BroadRouter

لماذا يعيد نموذج الاستدلال إجابة فارغة؟

آخر تحديث

أنفق النموذج ميزانية max_tokens كاملة على الاستدلال قبل أن يبدأ الإجابة المرئية. ففي BroadNet Inference، تستدل نماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B أولًا، ويُحتسب الاستدلال ضمن max_tokens. اسمح بـ 1,000 رمز أو أكثر، أو اضبط reasoning_effort على low.

ترسل موجّهًا قصيرًا مع max_tokens: 100، فينجح الطلب، لكن choices[0].message.content يعود فارغًا. لا شيء معطّل: الإجابة لم تبدأ أصلًا.

ما الذي يحدث

تكتب نماذج الاستدلال سلسلة تفكير مخفية قبل الإجابة المرئية، ويتقاسم الاثنان ميزانية max_tokens واحدة. ومع حدٍّ صغير يستهلك الاستدلال الميزانية كلها، وتكون قيمة finish_reason حينها length في الصيغة القياسية لـ chat completions.

ثلاثة حلول

1. اترك مساحة كافية. اضبط max_tokens على 1,000 أو أكثر، كما ينصح توثيق BroadNet. وتحسب لك حاسبة max_tokens لنماذج الاستدلال الحدَّ المناسب لطول إجابتك وتعرض التكلفة.

2. قلّل الاستدلال. اضبط reasoning_effort على low في المهام البسيطة:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. راقب الاستهلاك. حين يُبلغ النموذج عنه، يبيّن usage.completion_tokens_details.reasoning_tokens مقدار ما ذهب إلى الاستدلال:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

في البث المتدفق (streaming)، أضف stream_options={"include_usage": True} فيصلك الاستهلاك نفسه في الجزء الأخير. راجع البث المتدفق لـ chat completions.

أي النماذج تستدل

النموذج يستدل أولًا
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) نعم
GLM 5.3 (broadnet/glm-5.3) نعم
Qwen3.8 27B (broadnet/qwen3.8-27b) نعم
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) غير مُدرج

حل المشكلات

  • content فارغ وقيمة finish_reason هي length. ارفع max_tokens أو اضبط reasoning_effort على low.
  • content فارغ وقيمة finish_reason هي stop. الحد ليس السبب. راجع الموجّه واطبع الاستجابة كاملة لترى ما عاد.
  • AttributeError عند completion_tokens_details. لم يُبلغ النموذج عن التفصيل في ذلك الطلب؛ تحقّق من None كما في المثال أعلاه.
  • تأخر الرمز الأول في البث المتدفق. النموذج يستدل قبل أن يكتب الإجابة. وقد يقصّر خفضُ reasoning_effort مدة الانتظار.

إن كنت تشغّل وكلاء طوال اليوم، فإن رموز الاستدلال (التوكنات) تتراكم في الدفع حسب الاستخدام. وتبيّن لك حاسبة أسعار BroadNet متى تصبح الخطة غير المحدودة بسعرها الثابت أقل تكلفة.

أسئلة شائعة

هل يكلّف الاستدلال مالًا؟

في الدفع حسب الاستخدام، يُحتسب الاستدلال داخل رموز الإكمال (completion tokens)، وهذه تُفوتر بسعر المخرجات. أما في الخطة غير المحدودة لنموذج DeepSeek V4.1 Flash فلا يوجد عدّاد للرموز، فلا تكلّف شيئًا إضافيًا.

هل يستدل نموذج BroadNet Gemma 4 VL 26B؟

يُدرج توثيق BroadNet الاستدلال لنماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B، لا لنموذج Gemma 4 VL 26B.

لماذا يكون محتوى الرسالة فارغًا حين تكون قيمة finish_reason هي length؟

نفدت ميزانية الرموز قبل أن تبدأ الإجابة المرئية. فنموذج الاستدلال يكتب استدلاله أولًا، وتُحتسب تلك الرموز ضمن max_tokens. ارفع max_tokens إلى 1,000 أو أكثر، أو خفّض reasoning_effort.

ماذا يفعل ضبط reasoning_effort على low؟

يطلب من النموذج أن يستدل أقل قبل أن يجيب. ويقترحه توثيق BroadNet بديلًا عن رفع max_tokens حين يترك حدٌّ قصير الإجابةَ فارغة. استخدمه في المهام البسيطة مثل التصنيف أو الاستخراج.

كيف أعرف عدد الرموز التي ذهبت إلى الاستدلال؟

اقرأ usage.completion_tokens_details.reasoning_tokens في الاستجابة، حين يُبلغ النموذج عنها. وفي البث المتدفق، أرسل stream_options مع include_usage بقيمة true واقرأها من الجزء الأخير.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity