BroadRouter
Mulai

Context window (jendela konteks)

Diperbarui

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

Disebut juga: context window, jendela konteks, panjang konteks, batas konteks, batas token, context length, context size, token limit, context limit

Context window adalah memori kerja model untuk satu permintaan. Semua yang perlu dilihat model, dan semua yang ditulisnya kembali, harus muat di dalamnya.

Cara kerjanya

Window diukur dalam token. Dokumentasi Anthropic menggambarkannya sebagai “all the text a language model can reference when generating a response, including the response itself” (terjemahan: semua teks yang dapat dirujuk model bahasa saat menghasilkan respons, termasuk respons itu sendiri). Itu mencakup:

  • system prompt dan setiap pesan, termasuk giliran sebelumnya;
  • definisi tool dan hasil tool;
  • dokumen dan gambar;
  • output, termasuk token penalaran yang tersembunyi.

Jadi anggarannya dipakai bersama. Dengan window 1.048.576 token, prompt 1.040.000 token menyisakan sekitar 8.000 token untuk penalaran dan jawaban. Atur max_tokens dengan mempertimbangkan hal itu.

Model tidak mengingat permintaan sebelumnya. Chat terasa berkesinambungan hanya karena client mengirim ulang riwayat di setiap giliran, sehingga percakapan panjang mengisi window sedikit demi sedikit.

Kenapa ini penting

  • Kemampuan. Window yang besar memungkinkan satu permintaan memuat seluruh codebase, satu set kontrak, atau transkrip berjam-jam, sehingga model bisa menghubungkan fakta di antaranya.
  • Biaya. Setiap token di window ditagih sebagai input pada kunci per token. Caching menurunkan harga prefiks yang berulang, tetapi token cache tetap memakai ruang di window.
  • Kualitas. Lebih banyak tidak selalu lebih baik. Anthropic menyebut turunnya akurasi pada prompt yang sangat panjang sebagai “context rot” (terjemahan: pembusukan konteks). Kurasi apa yang Anda kirim.
  • Latensi. Prompt panjang membutuhkan waktu lebih lama sebelum token pertama muncul.

Di BroadNet Inference

Model Context window
DeepSeek V4.1 Flash 1.048.576 token
GLM 5.3 1.048.576 token
Qwen3.8 27B 262.144 token
BroadNet Gemma 4 VL 26B 32.768 token

Window mencakup prompt dan jawaban sekaligus, dan BroadNet tidak memangkas konteks Anda. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, jadi sisakan ruang: window yang penuh dengan anggaran output kecil akan mengembalikan balasan kosong. Lihat kenapa model penalaran mengembalikan jawaban kosong.

Paket unlimited mencakup window 1 juta token penuh di DeepSeek V4.1 Flash. Untuk mengetahui kapan konteks sebesar itu lebih unggul daripada retrieval, baca panduan context window 1 juta token.

Kesalahan umum

  • Menganggap window sebagai panjang output. Batas output diatur terpisah dengan max_tokens.
  • Terus mengirim ulang seluruh riwayat. Ringkas atau buang giliran lama sebelum window penuh.

Pertanyaan umum

Apa yang terjadi jika prompt saya lebih panjang dari context window?

API menolak permintaan, biasanya dengan error 400. Anthropic, misalnya, mengembalikan "prompt is too long" (terjemahan: prompt terlalu panjang). Beberapa aplikasi chat memangkas pesan lama untuk Anda; sebagian besar API tidak.

Apakah context window yang lebih besar selalu lebih baik?

Tidak. Prompt panjang lebih mahal dan lebih lama diproses, dan Anthropic mencatat bahwa akurasi dan kemampuan mengingat bisa menurun seiring bertambahnya jumlah token. Kirim sesuai kebutuhan tugas.

Apakah BroadNet memangkas konteks saya?

Tidak. BroadNet Inference tidak memangkas konteks Anda. Jika permintaan tidak muat, persingkat sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity