ترسل موجّهًا قصيرًا مع max_tokens: 100، فينجح الطلب، لكن choices[0].message.content يعود فارغًا. لا شيء معطّل: الإجابة لم تبدأ أصلًا.
ما الذي يحدث
تكتب نماذج الاستدلال سلسلة تفكير مخفية قبل الإجابة المرئية، ويتقاسم الاثنان ميزانية max_tokens واحدة. ومع حدٍّ صغير يستهلك الاستدلال الميزانية كلها، وتكون قيمة finish_reason حينها length في الصيغة القياسية لـ chat completions.
ثلاثة حلول
1. اترك مساحة كافية. اضبط max_tokens على 1,000 أو أكثر، كما ينصح توثيق BroadNet. وتحسب لك حاسبة max_tokens لنماذج الاستدلال الحدَّ المناسب لطول إجابتك وتعرض التكلفة.
2. قلّل الاستدلال. اضبط reasoning_effort على low في المهام البسيطة:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. راقب الاستهلاك. حين يُبلغ النموذج عنه، يبيّن usage.completion_tokens_details.reasoning_tokens مقدار ما ذهب إلى الاستدلال:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
في البث المتدفق (streaming)، أضف stream_options={"include_usage": True} فيصلك الاستهلاك نفسه في الجزء الأخير. راجع البث المتدفق لـ chat completions.
أي النماذج تستدل
| النموذج | يستدل أولًا |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
نعم |
GLM 5.3 (broadnet/glm-5.3) |
نعم |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
نعم |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
غير مُدرج |
حل المشكلات
contentفارغ وقيمةfinish_reasonهيlength. ارفعmax_tokensأو اضبطreasoning_effortعلىlow.contentفارغ وقيمةfinish_reasonهيstop. الحد ليس السبب. راجع الموجّه واطبع الاستجابة كاملة لترى ما عاد.AttributeErrorعندcompletion_tokens_details. لم يُبلغ النموذج عن التفصيل في ذلك الطلب؛ تحقّق منNoneكما في المثال أعلاه.- تأخر الرمز الأول في البث المتدفق. النموذج يستدل قبل أن يكتب الإجابة. وقد يقصّر خفضُ
reasoning_effortمدة الانتظار.
إن كنت تشغّل وكلاء طوال اليوم، فإن رموز الاستدلال (التوكنات) تتراكم في الدفع حسب الاستخدام. وتبيّن لك حاسبة أسعار BroadNet متى تصبح الخطة غير المحدودة بسعرها الثابت أقل تكلفة.
