BroadRouter

Token penalaran (reasoning tokens)

Diperbarui

Token penalaran adalah token yang dihasilkan model penalaran untuk mengerjakan suatu masalah sebelum menulis jawaban yang terlihat. Token ini biasanya ditagih sebagai token output, dihitung dalam batas output dan context window, dan bisa disembunyikan atau diringkas oleh API.

Disebut juga: token penalaran, token berpikir, reasoning tokens, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Model penalaran berpikir sebelum menjawab. Proses berpikir itu juga berupa teks, jadi ia memakan token, waktu, dan ruang di context window.

Cara kerjanya

Model penalaran menghasilkan rantai pemikiran internal, lalu jawaban yang terlihat. Keduanya berasal dari anggaran output yang sama. Panduan OpenAI menyebut token penalaran “are billed as output tokens” (terjemahan: ditagih sebagai token output) dan memakai ruang di context window; Anthropic mengatakan hal yang sama tentang token thinking dan menyebutnya “a subset of your max_tokens” (terjemahan: bagian dari max_tokens Anda).

Dalam format Chat Completions, jumlahnya muncul di usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Di sini, 1.024 dari 1.186 token output dipakai untuk berpikir, dan hanya 162 untuk jawaban. OpenAI memperingatkan bahwa respons bisa mencapai batas “before any visible output tokens are produced” (terjemahan: sebelum token output apa pun yang terlihat dihasilkan), sehingga Anda membayar input dan penalaran tetapi tidak mendapat balasan. OpenAI menyarankan menyisihkan setidaknya 25.000 token untuk penalaran dan output saat Anda mulai bereksperimen dengan model-modelnya.

Banyak API menyediakan pengaturan seperti reasoning_effort (low, medium, high) untuk menukar kualitas dengan lebih sedikit token berpikir.

Kenapa ini penting

  • Biaya. Pada kunci per token, penalaran ditagih dengan harga output, biasanya tarif tertinggi. Lihat token input dan output.
  • Latensi. Berpikir butuh waktu sebelum token pertama yang terlihat. Pada token per detik yang tetap, 2.000 token penalaran menambah waktu setara 2.000 token output.
  • Keandalan. max_tokens kecil yang berhasil pada model non-penalaran bisa mengembalikan jawaban kosong pada model penalaran.

Di BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab. Dokumentasi BroadNet menyebut penalaran dihitung dalam max_tokens. Dokumentasi BroadNet tidak mencantumkan penalaran untuk BroadNet Gemma 4 VL 26B.

Jika model melaporkannya, usage.completion_tokens_details.reasoning_tokens menunjukkan porsi berpikirnya. Atur max_tokens ke 1.000 atau lebih, atau biarkan tidak diatur, dan gunakan reasoning_effort="low" untuk langkah sederhana:

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

Pada skema bayar sesuai pemakaian, penalaran ditagih dengan harga output, misalnya $0.52 per 1 juta token pada DeepSeek V4.1 Flash. Pada paket unlimited untuk model itu tidak ada meteran token, jadi penalaran tidak menambah biaya; hanya memakan waktu. Daftar perbaikan lengkapnya ada di kenapa model penalaran mengembalikan jawaban kosong.

Pertanyaan umum

Bisakah saya melihat token penalaran?

Tergantung API-nya. OpenAI menyebut token penalaran tidak terlihat lewat API-nya tetapi bisa diringkas. Penyedia lain mengembalikan sebagian atau seluruh penalaran di field terpisah. Bagaimanapun, Anda tetap ditagih untuk token itu.

Bagaimana cara mengurangi token penalaran?

Gunakan pengaturan reasoning effort yang lebih rendah untuk tugas sederhana, misalnya reasoning_effort bernilai low, jika model mendukungnya. Prompt yang jelas dan spesifik juga membantu.

Kenapa saya mendapat jawaban kosong dari model penalaran?

Kemungkinan model menghabiskan seluruh anggaran output untuk bernalar. finish_reason kemudian bernilai length. Naikkan max_tokens atau turunkan reasoning effort.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity