BroadRouter

Akıl yürüten model neden boş yanıt döndürür?

Güncellendi

Model, görünür yanıta başlamadan önce max_tokens bütçesinin tamamını akıl yürütmeye harcamıştır. BroadNet Inference'ta DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B önce akıl yürütür ve akıl yürütme max_tokens sınırına dahildir. 1.000 token veya daha fazlasına izin verin ya da reasoning_effort değerini low yapın.

max_tokens: 100 ile kısa bir istem gönderiyorsunuz, istek başarılı oluyor ama choices[0].message.content boş geliyor. Bozuk bir şey yok: yanıt hiç başlamadı.

Ne oluyor

Akıl yürüten modeller, görünür yanıttan önce gizli bir düşünce zinciri yazar. İkisi aynı max_tokens bütçesini paylaşır. Sınır küçükse akıl yürütme bütçenin tamamını tüketir ve standart chat completions yapısında finish_reason değeri length olur.

Üç çözüm

1. Yer bırakın. BroadNet’in belgelerinin önerdiği gibi max_tokens değerini 1.000 veya üstüne ayarlayın. Akıl yürüten modeller için max_tokens hesaplayıcısı sınırı yanıt uzunluğunuza göre belirler ve maliyeti gösterir.

2. Daha az akıl yürütün. Basit işler için reasoning_effort değerini low yapın:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Kullanımı izleyin. Model raporluyorsa usage.completion_tokens_details.reasoning_tokens, akıl yürütmeye ne kadar gittiğini gösterir:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Akışta stream_options={"include_usage": True} ekleyin; aynı kullanım bilgisi son parçada gelir. Akışlı chat completions rehberine bakın.

Hangi modeller akıl yürütür

Model Önce akıl yürütür
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Evet
GLM 5.3 (broadnet/glm-5.3) Evet
Qwen3.8 27B (broadnet/qwen3.8-27b) Evet
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Listelenmemiş

Sorun giderme

  • content boş, finish_reason değeri length. max_tokens değerini artırın veya reasoning_effort değerini low yapın.
  • content boş, finish_reason değeri stop. Sebep sınır değil. İsteminizi kontrol edin ve ne döndüğünü görmek için yanıtın tamamını yazdırın.
  • completion_tokens_details üzerinde AttributeError. Model o istek için dökümü raporlamamış; yukarıdaki örnekteki gibi None durumuna karşı kontrol ekleyin.
  • Akışta ilk token geç geliyor. Model yanıtı yazmadan önce akıl yürütüyor. Daha düşük bir reasoning_effort beklemeyi kısaltabilir.

Gün boyu ajan çalıştırıyorsanız kullandıkça öde modelinde akıl yürütme token’ları birikir. BroadNet fiyat hesaplayıcısı, sabit fiyatlı bir sınırsız planın ne zaman daha ucuza geldiğini gösterir.

Sık sorulan sorular

Akıl yürütme ücretli mi?

Kullandıkça öde modelinde akıl yürütme, çıktı fiyatından faturalanan completion token'ları içinde raporlanır. DeepSeek V4.1 Flash için sınırsız planda token sayacı yoktur, bu yüzden ek bir maliyeti olmaz.

BroadNet Gemma 4 VL 26B akıl yürütür mü?

BroadNet'in belgeleri akıl yürütmeyi DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B için listeler; Gemma 4 VL 26B için listelemez.

finish_reason length iken mesaj içeriği neden boş?

Token bütçesi görünür yanıt başlamadan tükenmiştir. Akıl yürüten bir model önce akıl yürütmesini yazar ve bu token'lar max_tokens sınırına dahildir. max_tokens değerini 1.000 veya üstüne çıkarın ya da reasoning_effort değerini düşürün.

reasoning_effort low ne işe yarar?

Modelden yanıt vermeden önce daha az akıl yürütmesini ister. BroadNet'in belgeleri, kısa bir sınır yanıtı boş bıraktığında bunu daha büyük bir max_tokens değerine alternatif olarak önerir. Sınıflandırma veya veri çıkarma gibi basit işlerde kullanın.

Akıl yürütmeye kaç token gittiğini nasıl görürüm?

Model raporluyorsa yanıttaki usage.completion_tokens_details.reasoning_tokens alanını okuyun. Akışta stream_options içinde include_usage değerini true gönderin ve bu bilgiyi son parçadan okuyun.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor