BroadRouter

Akıl yürütme modellerinde max_tokens ayarı: bütçeleme yöntemi

BroadNet Inference ekibi · 6 dk okuma · Yayımlandı

Akıl yürütme modelinde max_tokens düşünmeyi ve yanıtı birlikte sınırlar; dar bir sınır yanıtı görünür metin çıkmadan bitirebilir. Görev türü başına toplam completion token sayısını ölçün, max_tokens değerini yaklaşık 95. yüzdelik artı %20 yapın, istem artı max_tokens toplamını bağlam penceresinde tutun ve kesilen yanıtları sabit bir üst sınıra kadar iki katı bütçeyle yeniden deneyin.

Akıl yürütme modeli yanıt vermeden önce düşünür ve çoğu OpenAI uyumlu API’de ikisi de tek bir bütçeden çıkar: max_tokens. Bunu akıl yürütmeyen bir modeldeki gibi, kısa bir yanıt için birkaç yüz token olarak ayarlarsanız bazı yanıtlar finish_reason: "length" ile boş döner. Hızlı çözüm akıl yürütme modeli neden boş yanıt döndürür kılavuzunda. Bu yazı ise güvenebileceğiniz bir bütçenin arkasındaki yöntemi anlatıyor: ölçün, yüzdeliklere göre boyutlandırın, bağlam penceresine uyun ve yine de kesilen yanıtları ele alın.

Akıl yürütmenin maliyeti ve nasıl azaltılacağı için akıl yürütme token’ları: gördüğünüzden fazla çıktıya neden ödersiniz yazısına bakın.

Bütçe neden yanıttan önce tükenir?

Model sırayla üretir: önce akıl yürütmesini, sonra görünür yanıtı. İkisinin de her token’ı max_tokens sınırına sayılır. BroadNet’in belgeleri DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B için bunu söylüyor: “the reasoning counts toward max_tokens” (BroadRouter çevirisi: akıl yürütme max_tokens’a dahil edilir) ve küçük bir sınırla “the answer comes back empty” (BroadRouter çevirisi: yanıt boş döner). OpenAI’ın Chat Completions başvurusu da max_completion_tokens değerini aynı şekilde, “including visible output tokens and reasoning tokens” (BroadRouter çevirisi: görünür çıktı token’ları ve akıl yürütme token’ları dahil) bir üst sınır olarak tanımlıyor.

Dolayısıyla sorulacak soru “yanıtım ne kadar uzun?” değil. Soru şu: “bu görevde, bu efor seviyesinde akıl yürütme ve yanıt birlikte ne kadar uzun?” Bu, insanların beklediğinden daha fazla değişkenlik gösterir. OpenAI’ın kılavuzu, modellerinin probleme göre “anywhere from a few hundred to tens of thousands of reasoning tokens” (BroadRouter çevirisi: birkaç yüzden on binlerceye kadar akıl yürütme token’ı) üretebileceğini söylüyor.

Daha büyük max_tokens daha mı pahalı?

Hayır. Bütçelerin fazla dar ayarlanmasının en yaygın nedeni bu yanılgı. max_tokens bir tavandır. Gerçekte üretilen token’lar için faturalandırılırsınız. 1.800 token gerektiren bir yanıt, tavan 4.000 de olsa 40.000 de olsa aynı tutar.

Dar bir tavanın ise bir bedeli var:

Tavan ve ihtiyaç Ne ödersiniz Ne alırsınız
Tavan ihtiyacın üstünde Üretilen token’lar Yanıtı
Tavan ihtiyacın altında Tavanın tamamı, hepsi akıl yürütme Kullanılabilir hiçbir şey, artı bir yeniden deneme

Bir örnekle gösterelim. Çağrılarınızın dörtte birinin 1.000 token’dan fazlasına ihtiyaç duyduğunu varsayın. max_tokens=1000 ile bu çağrıların her biri 1.000 çıktı token’lık düşünme faturalar, hiçbir şey döndürmez ve yeniden denenir. Bu, yeniden denemelerin kendisi hariç tüm çağrılarda ortalama çağrı başına 250 boşa giden çıktı token’ı ve ikinci bir isteğin gecikmesi demektir. Tavan 4.000 olduğunda hiçbir şey boşa gitmez. Qwen3.8 27B modelinde çıktı 1M token başına $2.17 tutuyor; yüksek hacimde bu israf birikir.

Yüksek bir tavanın gerçek riski kontrolden çıkan yanıttır: döngüye giren veya aşırı düşünen ve gerekenden çok daha fazlasını üreten bir model. Sabit bir üst sınır bunu sınırlar. Bu sınırı aşağıdaki gibi verilerden seçin.

Bir görevin neye ihtiyaç duyduğu nasıl ölçülür?

Tek bir görev türü için gerçek istemleri cömert bir tavanla çalıştırın ve completion token’larını ve akıl yürütme payını kaydedin. Model bildiriyorsa usage.completion_tokens_details.reasoning_tokens akıl yürütme kısmını verir; BroadNet’in belgeleri bu alanı listeliyor.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"

def measure(prompts, ceiling=16_000, **kw):
    """Run real prompts with a generous ceiling and return per-call token counts."""
    rows = []
    for p in prompts:
        r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
                                           messages=[{"role": "user", "content": p}], **kw)
        u, d = r.usage, r.usage.completion_tokens_details
        reasoning = (d.reasoning_tokens or 0) if d else 0
        rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
                     "finish": r.choices[0].finish_reason})
    return rows

def pct(values, q):
    values = sorted(values)
    return values[min(len(values) - 1, int(q * len(values)))]

def recommend(rows, margin=1.2):
    total = [r["reasoning"] + r["answer"] for r in rows]
    return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
            "max_tokens": int(pct(total, 0.95) * margin),
            "cut_off": sum(r["finish"] == "length" for r in rows)}

# print(recommend(measure(my_prompts)))                       # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))

Güvenebileceğiniz bir sayı için kurallar:

  1. Her çalıştırmada tek görev türü. Sınıflandırma, veri çıkarma, kod incelemesi ve planlamanın dağılımları çok farklıdır. Tek bir genel max_tokens ya yeniden denemelerde para harcatır ya da kontrolden çıkan yanıtları geçirir.
  2. 50 veya daha fazla gerçek istem. On örneğin 95. yüzdeliği, sadece en büyük örnektir.
  3. Kullandığınız her efor seviyesinde çalıştırın. reasoning_effort="low" dağılımı değiştirir. BroadNet low değerini belgeliyor; diğer değerlere güvenmeden önce test edin.
  4. cut_off sıfır değilse tavanı yükseltip yeniden çalıştırın. Kesilen bir örnek gerçek uzunluğunu gizler.
  5. Model veya istem değiştiğinde yeniden çalıştırın. Yeni bir model sürümü daha çok veya daha az düşünebilir.

Ardından max_tokens değerini görev başına recommend() çıktısına göre ayarlayın. 95. yüzdelik artı %20, çağrıların çoğunu tavanın epey altında bırakır ve yalnızca nadir uzun çağrıyı aşağıdaki yeniden deneme yoluna gönderir. Ücretsiz akıl yürütme token bütçesi aracı, sayılarınız elinizdeyken bu hesabı tarayıcınızda yapar.

Bağlam penceresi bütçeyi nasıl sınırlar?

Bağlam penceresi istemi ve yanıtı birlikte tutar. BroadNet’in fiyat akışı context_length değerini “the most tokens one request can hold, prompt and answer together” (BroadRouter çevirisi: bir isteğin tutabileceği en fazla token, istem ve yanıt birlikte) olarak tanımlıyor. Yani:

max_tokens ≤ bağlam uzunluğu − istem token’ları

Model Bağlam 200.000 token’lık istemle max_tokens için kalan alan
GLM 5.3 1.048.576 848.576
DeepSeek V4.1 Flash 1.048.576 848.576
Qwen3.8 27B 262.144 62.144

Bu, uzun bağlamlı işlerde önemlidir. Qwen3.8 27B üzerinde geçmişi 250.000 token’a ulaşmış bir ajanın düşünme ve yanıt için yalnızca yaklaşık 12.000 token’ı kalır. Uzun bağlamlı görevler genellikle daha fazla akıl yürütme de gerektirir; bu yüzden kalan alanı başlangıçta bir kez değil, çağrı anında kontrol edin. Sığma konusunu bağlam penceresi maddesi ve bağlam penceresi hesaplayıcısı ele alıyor.

Yanıt yine de kesilirse ne yapmalı?

Her çağrıda finish_reason değerini kontrol edin. length ise, content biraz metin içerse bile yanıt eksiktir veya hiç yoktur. Onu tamammış gibi ayrıştırmayın; yarım kalmış bir JSON nesnesi sonraki adımlardaki hataların yaygın bir kaynağıdır (yapılandırılmış çıktı).

Bağlamın izin verdiği alan içinde, sabit bir üst sınıra kadar iki katı bütçeyle yeniden deneyin:

import json, urllib.request

FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}

def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
    """Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
    while True:
        r = client.chat.completions.create(model=model, messages=messages,
                                           max_tokens=budget, **kw)
        if r.choices[0].finish_reason != "length":
            return r
        room = CONTEXT[model] - r.usage.prompt_tokens        # context holds prompt + answer
        nxt = min(budget * 2, hard_cap, room)
        if nxt <= budget:
            raise RuntimeError(f"still cut off at max_tokens={budget}")
        print(f"cut off at {budget}, retrying with {nxt}")
        budget = nxt

Göreve bağlı olarak ikiye katlamanın iki alternatifi var:

  • Aynı bütçeyle reasoning_effort="low" kullanarak yeniden deneyin. Basit görevlerde model çoğu zaman aşırı düşünür ve daha az efor, daha büyük bir tavan gerektirmeden sorunu çözer.
  • Görevi bölün. Bir yanıt yüksek bir üst sınıra sürekli takılıyorsa istek genellikle tek seferde çok fazla şey istiyordur.

Her kesilmeyi görev türüyle birlikte günlüğe yazın. Artan bir oran istemin, modelin veya girdi verisinin değiştiği ve bütçenin yeniden ölçülmesi gerektiği anlamına gelir. Yeniden denemeler yeni çıkarımlardır ve yeniden faturalandırılır; bu yüzden uzun süren ajanlar: zaman aşımları ve yeniden denemeler yazısındaki gibi deneme sayısını sınırlı tutun.

Akış (streaming) tabloyu nasıl değiştirir?

stream=True ile akıl yürütme ilk görünür token’dan önce gerçekleşir; bu yüzden akıl yürütme modeli başta takılmış gibi görünebilir. Bir sohbet arayüzünde içerik gelene kadar bir “düşünüyor” durumu gösterin ve istemci zaman aşımlarını yalnızca yanıta göre değil, düşünme süresine göre ayarlayın.

Bazı sunucular akıl yürütme metninin kendisini de ayrı bir alanda akış olarak gönderir. Alanın adı standart değil: DeepSeek’in kendi API’si reasoning_content kullanıyor; vLLM ise alanının adını reasoning_content’ten reasoning’e değiştirdi ve eski istemci kodunun “could silently read an empty” (BroadRouter çevirisi: sessizce boş bir alan okuyabileceği) konusunda uyardı. BroadNet’in belgeleri bir akıl yürütme metni alanı belgelemiyor; kendi modeliniz için ham yanıtı kontrol etmeden böyle bir alan üzerine özellik kurmayın. Okuyacaksanız savunmacı biçimde okuyun:

for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
        # log or display `thinking` only if your provider actually sends it
        if delta.content:
            print(delta.content, end="")
    elif chunk.usage:                                  # last chunk, with include_usage
        print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))

Son parçadaki usage bilgisi için stream_options={"include_usage": True} gerekir; BroadNet bunu belgeliyor. Akışlar hakkında daha fazlası akış kılavuzunda ve SSE’nin açıklandığı yazıda.

Hangi parametre adını göndermelisiniz?

API Parametre Akıl yürütmeyi içerir
OpenAI Chat Completions max_completion_tokens (max_tokens kullanımdan kaldırıldı) Evet
OpenAI Responses max_output_tokens Evet
BroadNet Inference (Chat Completions) Belgelendiği şekliyle max_tokens Evet
vLLM sunucuları max_tokens, artı isteğe bağlı thinking_token_budget Evet

Kodu sağlayıcılar arasında taşırken sağlayıcının belgelediği adı gönderin ve sınırın etkili olduğunu tek bir test çağrısıyla doğrulayın. Sessizce yok sayılan bir sınır, kontrolden çıkan bir yanıt gelene kadar sorunsuz görünür. Değişen diğer parametreleri geçiş kontrol listesi ele alıyor.

BroadNet Inference nerede devreye giriyor?

BroadNet’in üç akıl yürütme modeli, model sağladığında akıl yürütme token’larını usage içinde bildiriyor; bu yüzden yukarıdaki ölçüm yazıldığı gibi çalışır. En geniş alanı 1.048.576 token bağlamla DeepSeek V4.1 Flash ve GLM 5.3 veriyor. Qwen3.8 27B’de 262.144 var. Bir görev için akıl yürütmeye ihtiyacınız yoksa Gemma 4 VL 26B akıl yürütme modeli olarak listelenmiyor ve bütçe sorusunu tamamen ortadan kaldırıyor. Sabit fiyatlı bir DeepSeek V4.1 Flash planında düşünme token’ları için token başına ücret yok, ama kesilen yanıtlar yine de zaman kaybettirir; bu yüzden aynı bütçeleme geçerli. BroadNet ayrı bir akıl yürütme sınırı belgelemiyor; buna ihtiyacınız varsa bunu sunan bir sağlayıcı veya kendi barındırdığınız bir sunucu kullanın.

Sık sorulan sorular

Akıl yürütme modelim neden boş yanıt döndürüyor?

Model, yanıtı yazmadan önce max_tokens bütçesinin tamamını gizli akıl yürütmeye harcadı. Bu durumda finish_reason "length" olur. max_tokens değerini yükseltin, reasoning_effort değerini düşürün ya da ikisini birden yapın. Hızlı çözümü anlatan kısa bir kılavuz bu yazıda bağlantılı.

Akıl yürütme modeli için max_tokens kaç olmalı?

Önce ölçün. Cömert bir tavanla 50 veya daha fazla gerçek istem çalıştırın, o görev için completion_tokens değerinin 95. yüzdeliğini alın ve yaklaşık %20 ekleyin. BroadNet'in belgeleri alt sınır olarak 1.000 token veya üzerini veriyor; OpenAI ise kendi modellerinde başlarken 25.000 token ayırmayı öneriyor.

Daha yüksek max_tokens daha mı pahalı?

Tek başına değil. Tavan için değil, modelin ürettiği token'lar için faturalandırılırsınız. Yüksek tavan ancak aksi halde kesilecek bir yanıtta daha pahalıya gelir; o durumda da kesilen yanıt size zaten bir yeniden denemeye mal olurdu.

max_completion_tokens ile max_tokens aynı şey mi?

OpenAI'da max_completion_tokens, kullanımdan kaldırılan max_tokens'ın yerini alıyor ve akıl yürütme token'larını açıkça içeriyor. Birçok OpenAI uyumlu sağlayıcı ise bunun yerine max_tokens belgeliyor. BroadNet'in belgeleri max_tokens kullanıyor ve akıl yürütmenin buna dahil olduğunu söylüyor.

Akıl yürütmeyi yanıttan ayrı sınırlayabilir miyim?

Yalnızca sunucu destekliyorsa. vLLM'de thinking_token_budget parametresi var, bazı sağlayıcıların da kendi parametreleri bulunuyor. BroadNet ayrı bir akıl yürütme sınırı değil, low olarak ayarlanan reasoning_effort belgeliyor; bu yüzden ikisini birlikte bütçeleyin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor