---
title: "Context window 1M token: kapan berguna, berapa biayanya"
description: "Apa yang muat dalam 1.048.576 token, berapa biayanya di DeepSeek V4.1 Flash, bagaimana penalaran dan caching mengubah hitungannya, dan kapan RAG tetap lebih baik."
url: https://broadrouter.com/id/blog/million-token-context-window-guide/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/million-token-context-window-guide/) (diperbarui 2026-11-14).

# Kapan context window 1M token sepadan (dan kapan tidak)

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan 2026-11-14

Context window 1M token memungkinkan satu permintaan memuat seluruh codebase, satu set kontrak, atau transkrip berjam-jam, sehingga model melihat semuanya sekaligus, bukan potongan hasil retrieval. Ini sepadan untuk penalaran lintas file dan analisis sekali jalan; untuk pencarian berulang di korpus besar yang terus berubah, retrieval lebih murah. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token.

## Poin penting

-   DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token per permintaan, prompt dan jawaban digabung.
-   Long context mengalahkan retrieval jika jawabannya bergantung pada hubungan antar banyak file atau dokumen.
-   Retrieval (RAG) tetap unggul untuk banyak pencarian kecil di korpus besar yang terus berubah.
-   Model memakai input panjang secara tidak merata. Riset menunjukkan akurasi turun untuk fakta yang terkubur di tengah dan seiring input membesar.
-   Caching memangkas biaya pengiriman ulang prompt panjang yang sama; di paket unlimited, prompt panjang tidak menambah biaya.
-   Sisakan ruang untuk token penalaran di dalam window.

**Di halaman ini**

1.  Apa saja yang muat dalam sejuta token?
2.  Model BroadNet mana yang punya context window 1M token?
3.  Kapan window 1M token sepadan?
4.  Kapan retrieval tetap pilihan yang lebih baik?
5.  Apakah model benar-benar memakai seluruh window?
6.  Berapa biaya prompt sejuta token?
7.  Berapa ruang yang perlu disisakan untuk jawaban?
8.  Cara menyiapkan codebase untuk prompt 1M token
9.  Posisi BroadNet Inference

_[image: Light shining through towering cliffs made of stacked paper pages.]_

[Context window](https://broadrouter.com/id/glossary/context-window/) sudah berkembang dari beberapa ribu token menjadi lebih dari sejuta. [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) dan [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) di BroadNet Inference menerima **1.048.576 token per permintaan**, prompt dan jawaban digabung. Ini mengubah cara Anda membangun aplikasi, tetapi tidak membuat setiap prompt menjadi lebih baik.

## Apa saja yang muat dalam sejuta token?

Sebagai patokan kasar: 1.000 kata prosa bahasa Inggris menjadi sekitar 1,290 [token](https://broadrouter.com/id/glossary/token/), dirata-rata dari lima tokenizer, di [dataset efisiensi tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) kami, jadi sejuta token kira-kira setara 810,000 kata prosa biasa:

| Konten | Kira-kira |
| --- | --- |
| Codebase ukuran menengah (puluhan ribu baris) | Muat, masih ada sisa ruang |
| Beberapa kontrak panjang beserta lampirannya | Muat |
| Transkrip rapat selama sehari | Muat |
| Monorepo besar beserta dependensinya | Sering tidak muat; pilih direktori |

Jumlah token tergantung bahasa dan konten. Kode dan teks bahasa Arab sering memakai lebih banyak token per karakter daripada prosa bahasa Inggris. Ukur dengan blok `usage` pada permintaan nyata alih-alih memperkirakan, atau cek sampelnya di [kalkulator context window](https://broadrouter.com/tools/context-window-calculator/).

## Model BroadNet mana yang punya context window 1M token?

| Model | Context window | Input | Output | Gambar |
| --- | --- | --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | 1.048.576 | $0.175 | $0.52 | Ya |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | 1.048.576 | $0.78 | $3.46 | Tidak |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | 262.144 | $0.175 | $2.17 | Ya |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) | 32.768 | $0.10 | $0.22 | Ya |

Harga per 1M token. GLM 5.3 menambahkan tool calling dan output terstruktur pada window 1M yang sama.

## Kapan window 1M token sepadan?

-   **Penalaran lintas file.** “Kenapa test ini gagal?” sering bergantung pada lima file yang tidak akan terpikir untuk diambil bersamaan.
-   **Review dokumen utuh.** Menemukan pertentangan antara pasal 4 dan lampiran B butuh keduanya terlihat.
-   **Analisis sekali jalan.** Untuk pertanyaan yang hanya akan Anda ajukan sekali, membangun indeks retrieval lebih merepotkan daripada manfaatnya.
-   **Agen.** Sub-agen yang bisa membaca seluruh modul lebih jarang menebak keliru. Lihat [menjalankan agen paralel](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/).

## Kapan retrieval tetap pilihan yang lebih baik?

Retrieval unggul untuk banyak pencarian kecil di pustaka yang jauh lebih besar dari window mana pun, untuk konten yang berubah setiap menit, dan untuk jawaban interaktif cepat ketika membaca prompt raksasa terlebih dahulu menambah jeda. Banyak sistem produksi melakukan keduanya: mengambil 200.000 token paling relevan, lalu membiarkan model long context bernalar atas semuanya. Keputusan lengkapnya, dengan biaya per query, latensi, dan recall berdampingan, ada di [long context vs RAG](https://broadrouter.com/id/blog/long-context-vs-rag/).

## Apakah model benar-benar memakai seluruh window?

Tidak merata. Riset konsisten dalam hal ini:

-   Makalah [Lost in the Middle](https://arxiv.org/abs/2307.03172) (Liu dkk.) menemukan bahwa performa “is often highest when relevant information occurs at the beginning or end of the input context” (Terjemahan BroadRouter: sering kali tertinggi saat informasi relevan berada di awal atau akhir konteks input).
-   Laporan [Context Rot](https://www.trychroma.com/research/context-rot) dari Chroma menguji 18 model dan menemukan bahwa “performance grows increasingly unreliable as input length grows” (Terjemahan BroadRouter: performa makin tidak andal seiring panjang input bertambah), bahkan pada tugas sederhana.

Studi-studi ini tidak menguji model di BroadNet, jadi anggap sebagai peringatan, bukan hasil pengukuran. Aturan praktisnya: window yang menerima sejuta token tidak berarti setiap token mendapat perhatian yang sama. Letakkan materi paling penting di dekat awal atau akhir, dan uji recall dengan dokumen Anda sendiri.

## Berapa biaya prompt sejuta token?

Dengan kunci [bayar sesuai pemakaian](https://broadrouter.com/id/glossary/pay-as-you-go/), DeepSeek V4.1 Flash menagih $0.175 per 1M token input dan $0.0055 per 1M [token input cache](https://broadrouter.com/id/glossary/cached-input-tokens/). Prompt penuh sejuta token biayanya sekitar $0.175 pada kali pertama, dan jauh lebih murah pada panggilan berulang saat prefiksnya di-cache. [Cara menaikkan cache rate Anda](https://broadrouter.com/id/blog/cached-input-tokens-explained/).

[Kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/) menunjukkan berapa yang dihemat cache hit pada ukuran prompt Anda sendiri. Contoh perhitungan: sepuluh pertanyaan tentang satu set kontrak 800.000 token yang sama. Tanpa caching, itu 8M token dengan harga $0.175 per 1M. Jika dokumennya diletakkan di awal dan tetap identik, panggilan pertama membaca 800.000 token baru dan sembilan panggilan berikutnya bisa membaca sebagian besarnya dari cache dengan harga $0.0055 per 1M. Hanya pertanyaan dan jawaban yang berubah.

Di paket unlimited, ukuran prompt tidak mengubah tagihan: Full Moon seharga $60 per bulan per sesi tanpa meteran token. Itulah sebabnya agen long context sering menjadi alasan memilih [paket harga tetap dibanding penagihan per token](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/).

## Berapa ruang yang perlu disisakan untuk jawaban?

Window mencakup prompt **dan** output, dan pada model penalaran output-nya termasuk proses berpikir. Jika Anda mengirim prompt 1.040.000 token, hanya tersisa sekitar 8.000 untuk [penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/) dan jawaban. Sisakan margin, set [`max_tokens`](https://broadrouter.com/id/glossary/max-tokens/) secara eksplisit, dan baca [kenapa model penalaran bisa mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).

## Cara menyiapkan codebase untuk prompt 1M token

1.  **Keluarkan yang tidak dibutuhkan model.** Lock file, hasil build, dependensi yang di-vendor, gambar, dan kode hasil generate memakan token dan menambah noise.
2.  **Hitung sebelum mengirim.** Kirim sampel kecil, baca `prompt_tokens` dari usage, lalu perbesar skalanya.
3.  **Urutkan berdasarkan stabilitas.** File yang jarang berubah di depan, file yang sedang diedit di belakang, pertanyaan paling akhir. Ini menjaga prefiks tetap bisa di-cache.
4.  **Beri label setiap file.** Bungkus file dengan penanda yang jelas seperti `=== path/to/file.py ===` agar model bisa mengutipnya.
5.  **Minta sitasi.** “Kutip baris yang menjadi dasar jawabanmu” mengurangi kesalahan yang disampaikan dengan yakin pada input raksasa.
6.  **Ukur.** Catat token prompt, token cache, dan time to first token per permintaan. [Streaming](https://broadrouter.com/id/guides/streaming-chat-completions/) menampilkan token pertama begitu tiba.

## Posisi BroadNet Inference

Dua model chat-nya menerima 1.048.576 token per permintaan, dan BroadNet tidak memangkas konteks Anda. Dengan kunci per token, caching membuat prompt panjang yang berulang tetap terjangkau; di sesi paket, ukuran prompt tidak memengaruhi tagihan. Jika korpus Anda jauh lebih besar dari sejuta token atau berubah setiap menit, Anda tetap butuh retrieval, dan ukuran window berapa pun tidak mengubah hal itu.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Token input dan output](https://broadrouter.com/id/glossary/input-and-output-tokens/)

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

[Context rot (degradasi konteks)](https://broadrouter.com/id/glossary/context-rot/)

Context rot adalah hilangnya akurasi dan keandalan secara bertahap yang ditunjukkan model bahasa saat inputnya makin panjang, bahkan ketika tugasnya tetap sama dan input masih jauh di dalam context window. Istilah ini dipopulerkan oleh laporan teknis Chroma tahun 2025 yang menguji 18 model.

## Pertanyaan umum

### Apakah BroadNet memangkas prompt yang panjang?

Tidak. BroadNet tidak memangkas konteks Anda. Jika prompt ditambah max\_tokens melebihi window model, perpendek prompt-nya alih-alih mengandalkan pemotongan diam-diam.

### 1 juta token itu berapa kata?

Tergantung bahasa dan kontennya. Prosa bahasa Inggris terukur sekitar 129 token per 100 kata di dataset tokenizer BroadRouter (1.000 kata menjadi sekitar 1,290 token, dirata-rata dari lima tokenizer), jadi 1.048.576 token memuat kira-kira 810,000 kata, jauh lebih dari seribu halaman. Teks teknis, kode, dan bahasa Arab butuh lebih banyak token, jadi hitung konten Anda yang sebenarnya.

### Apakah permintaan 1M token lambat?

Waktu mulainya lebih lama daripada permintaan pendek, karena model harus membaca seluruh prompt dulu. Prefiks yang di-cache biasanya membantu pada panggilan berulang. Ukur time to first token dengan prompt Anda sendiri.

### Apakah LLM benar-benar memakai seluruh context window?

Tidak merata. Makalah Lost in the Middle menemukan akurasi sering tertinggi saat informasi relevan berada di awal atau akhir input, dan laporan Context Rot dari Chroma menemukan keandalan turun seiring panjang input bertambah. Letakkan materi kunci di tepi dan uji dengan data Anda sendiri.

### Haruskah saya berhenti memakai RAG?

Belum tentu. Pakai long context saat model perlu melihat semuanya bersama-sama, dan retrieval saat model butuh beberapa fakta dari pustaka yang sangat besar. Banyak sistem menggabungkan keduanya.

### Apa yang terjadi jika prompt saya lebih besar dari context window?

BroadNet tidak memangkasnya untuk Anda, jadi permintaannya tidak akan berjalan sesuai harapan. Buang beberapa file, ringkas giliran lama, atau ambil hanya bagian yang relevan sebelum mengirim.

## Baca juga

-   [Token input cache: cara memangkas tagihan API LLM](https://broadrouter.com/id/blog/cached-input-tokens-explained/)
-   [Cara menjalankan agen coding paralel dengan API LLM harga tetap](https://broadrouter.com/id/blog/run-parallel-coding-agents-flat-rate/)
-   [API LLM harga tetap vs bayar per token: hitungan titik impas](https://broadrouter.com/id/blog/flat-rate-vs-pay-per-token-llm-api/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Panduan: Streaming chat completions dan menangani koneksi terputus](https://broadrouter.com/id/guides/streaming-chat-completions/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-million-token-context-window-guide&utm_content=page-cta) ·

**Sumber**

-   [Harga dan panjang konteks BroadNet Inference dalam format yang bisa dibaca mesin (pricing.json) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-million-token-context-window-guide&utm_content=sources)
-   [Referensi API BroadNet Inference (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-million-token-context-window-guide&utm_content=sources)
-   [Liu dkk., Lost in the Middle: How Language Models Use Long Contexts (arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Chroma, Context Rot: How Increasing Input Tokens Impacts LLM Performance (Juli 2025)](https://www.trychroma.com/research/context-rot)
