Chain-of-thought dimulai sebagai trik prompt dan berubah menjadi fitur model.
Cara kerjanya
Wei dan rekan-rekannya memublikasikan metode ini pada 2022. Alih-alih contoh few-shot yang hanya menampilkan pertanyaan dan jawaban, mereka menulis contoh yang menampilkan langkah-langkah di antaranya. Dengan delapan contoh seperti itu, model berukuran 540 miliar parameter mencapai akurasi state-of-the-art di GSM8K, kumpulan soal cerita matematika tingkat sekolah dasar, mengungguli GPT-3 yang di-fine-tune dengan verifier. Mereka menguji penalaran aritmetika, akal sehat, dan simbolik.
Contoh chain-of-thought dalam prompt:
Q: A shop has 23 apples. It uses 20 and buys 6 more. How many are left?
A: It starts with 23. After using 20 it has 3. After buying 6 it has 9. The answer is 9.
Menuliskan langkah memberi model lebih banyak token komputasi sebelum ia berkomitmen pada jawaban, dan setiap langkah mengondisikan langkah berikutnya. Ini adalah bentuk few-shot prompting di mana contoh mengajarkan metode, bukan sekadar format.
Bagaimana model penalaran menginternalisasinya
Model penalaran dilatih untuk menghasilkan teks langkah demi langkah ini sendiri. Panduan OpenAI mengatakan model-model ini “use internal reasoning tokens before producing a response” (terjemahan: memakai token penalaran internal sebelum menghasilkan respons), dan token itu tidak terlihat melalui API-nya tetapi tetap memakai konteks dan ditagih sebagai output. Beberapa model terbuka justru mengembalikan penalarannya di field terpisah. Lihat token penalaran untuk cara penghitungannya.
Kenapa ini penting
- Akurasi. Tugas multi-langkah seperti matematika, perencanaan, dan perbaikan kode paling diuntungkan. Pencarian fakta sederhana nyaris tidak.
- Biaya dan latensi. Setiap langkah adalah token output. Rantai yang panjang bisa lebih mahal daripada jawabannya.
- Bukan bukti. Langkah yang tertulis bisa tampak masuk akal namun tetap salah, jadi tidak mencegah halusinasi.
Di BroadNet Inference
Dokumentasi BroadNet menyebut DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran itu dihitung dalam max_tokens. Sisakan 1.000 token atau lebih, atau setel reasoning_effort ke low; dengan batas kecil, jawaban bisa kembali kosong. Jika dilaporkan, usage.completion_tokens_details.reasoning_tokens menunjukkan berapa banyak yang terpakai. Dokumentasi tidak mencantumkan BroadNet Gemma 4 VL 26B sebagai model penalaran, jadi chain-of-thought prompting klasik adalah cara memintanya menuliskan langkah. Panduan respons kosong dan artikel tentang biaya token penalaran membahas cara menganggarkannya.