Context window adalah memori kerja model untuk satu permintaan. Semua yang perlu dilihat model, dan semua yang ditulisnya kembali, harus muat di dalamnya.
Cara kerjanya
Window diukur dalam token. Dokumentasi Anthropic menggambarkannya sebagai “all the text a language model can reference when generating a response, including the response itself” (terjemahan: semua teks yang dapat dirujuk model bahasa saat menghasilkan respons, termasuk respons itu sendiri). Itu mencakup:
- system prompt dan setiap pesan, termasuk giliran sebelumnya;
- definisi tool dan hasil tool;
- dokumen dan gambar;
- output, termasuk token penalaran yang tersembunyi.
Jadi anggarannya dipakai bersama. Dengan window 1.048.576 token, prompt 1.040.000 token menyisakan sekitar 8.000 token untuk penalaran dan jawaban. Atur max_tokens dengan mempertimbangkan hal itu.
Model tidak mengingat permintaan sebelumnya. Chat terasa berkesinambungan hanya karena client mengirim ulang riwayat di setiap giliran, sehingga percakapan panjang mengisi window sedikit demi sedikit.
Kenapa ini penting
- Kemampuan. Window yang besar memungkinkan satu permintaan memuat seluruh codebase, satu set kontrak, atau transkrip berjam-jam, sehingga model bisa menghubungkan fakta di antaranya.
- Biaya. Setiap token di window ditagih sebagai input pada kunci per token. Caching menurunkan harga prefiks yang berulang, tetapi token cache tetap memakai ruang di window.
- Kualitas. Lebih banyak tidak selalu lebih baik. Anthropic menyebut turunnya akurasi pada prompt yang sangat panjang sebagai “context rot” (terjemahan: pembusukan konteks). Kurasi apa yang Anda kirim.
- Latensi. Prompt panjang membutuhkan waktu lebih lama sebelum token pertama muncul.
Di BroadNet Inference
| Model | Context window |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 token |
| GLM 5.3 | 1.048.576 token |
| Qwen3.8 27B | 262.144 token |
| BroadNet Gemma 4 VL 26B | 32.768 token |
Window mencakup prompt dan jawaban sekaligus, dan BroadNet tidak memangkas konteks Anda. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, jadi sisakan ruang: window yang penuh dengan anggaran output kecil akan mengembalikan balasan kosong. Lihat kenapa model penalaran mengembalikan jawaban kosong.
Paket unlimited mencakup window 1 juta token penuh di DeepSeek V4.1 Flash. Untuk mengetahui kapan konteks sebesar itu lebih unggul daripada retrieval, baca panduan context window 1 juta token.
Kesalahan umum
- Menganggap window sebagai panjang output. Batas output diatur terpisah dengan
max_tokens. - Terus mengirim ulang seluruh riwayat. Ringkas atau buang giliran lama sebelum window penuh.