---
title: "Hitung token sebelum kirim: estimasi, margin, bahasa"
description: "Perkirakan token prompt per bahasa dan model sebelum memanggil API LLM: kenapa tokenizer berbeda, contoh terukur dalam lima bahasa, dan margin max_tokens yang aman."
url: https://broadrouter.com/id/blog/count-tokens-before-sending/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/count-tokens-before-sending/) (diperbarui 2026-11-16).

# Cara menghitung token sebelum mengirim permintaan LLM

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-14 · Diperbarui 2026-11-16

Hitung token dengan tokenizer model yang Anda panggil jika tokenizer itu publik; jika tidak, kalibrasi rasio karakter per token dari field usage permintaan nyata, per bahasa dan jenis konten. Tambahkan margin 10 sampai 20 persen, lalu pastikan token prompt ditambah max\_tokens muat di context window, dengan menyisakan ruang untuk token penalaran pada model thinking.

## Poin penting

-   Tokenizer berbeda antarmodel. Dalam pengujian kami, kalimat bahasa Arab yang sama terukur 102 token dengan cl100k\_base, 46 dengan o200k\_base, dan 48 sampai 58 di tokenizer model terbuka.
-   Prosa bahasa Inggris rata-rata sekitar 4,5 karakter per token di semua tokenizer dalam uji singkat ini; kode, JSON, dan sebagian besar aksara non-Latin memakai lebih banyak token per karakter.
-   Jika tokenizer suatu model tidak publik, lakukan kalibrasi: kirim sampel, baca usage.prompt\_tokens, dan simpan rasio per bahasa dan jenis konten.
-   Context window mencakup prompt plus output. Anggarkan prompt + max\_tokens + margin, jangan pernah prompt saja.
-   Pada model penalaran, proses berpikir dihitung ke dalam max\_tokens; BroadNet merekomendasikan minimal 1.000 atau reasoning\_effort low.

**Di halaman ini**

1.  Kenapa jumlah token berbeda antarmodel?
2.  Bagaimana cara menghitung token secara persis?
3.  Bagaimana memperkirakan token jika tokenizer-nya tidak publik?
4.  Margin apa yang sebaiknya dipakai untuk max\_tokens dan konteks?
5.  Apa yang sering salah dalam estimasi token?
6.  Posisi BroadNet Inference

Anda perlu tahu jumlah [token](https://broadrouter.com/id/glossary/token/) sebelum mengirim permintaan karena tiga alasan: agar tetap di dalam [context window](https://broadrouter.com/id/glossary/context-window/), agar bisa memilih [max\_tokens](https://broadrouter.com/id/glossary/max-tokens/) yang masuk akal, dan agar bisa memperkirakan biaya. Hitungan yang persis hanya datang dari tokenizer model itu sendiri. Perkiraan yang baik datang dari kalibrasi. Artikel ini menunjukkan keduanya, dengan pengukuran nyata.

## Kenapa jumlah token berbeda antarmodel?

Tokenizer memecah teks menjadi potongan dari kosakata yang tetap. Setiap keluarga model melatih tokenizer-nya sendiri. Kosakata yang lebih besar, atau yang dilatih dengan lebih banyak data dalam bahasa tertentu, menghasilkan lebih sedikit token untuk bahasa itu. Jadi pertanyaan “prompt ini berapa token” punya jawaban berbeda untuk setiap model.

Kami mengukur satu pesan layanan pelanggan pendek yang sama, diterjemahkan ke empat bahasa, ditambah satu fungsi Python kecil dan satu objek JSON faktur. Hitungan OpenAI berasal dari [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base`, era GPT-4, dan `o200k_base`, era GPT-4o). Hitungan model terbuka berasal dari file tokenizer yang dipublikasikan setiap keluarga di Hugging Face, dihitung tanpa chat template, pada 14 November 2026.

| Teks (makna sama) | Karakter | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Bahasa Inggris, 31 kata | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Bahasa Spanyol | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Bahasa Arab | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Bahasa Mandarin | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Fungsi Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON faktur | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

Satu sampel per baris, jadi anggap angka-angka ini sebagai ilustrasi, bukan benchmark. Meski begitu, tiga pelajaran tetap berlaku. Generasi tokenizer berpengaruh: teks bahasa Arab menyusut lebih dari separuh dari `cl100k_base` ke `o200k_base`. Model terbuka juga berbeda satu sama lain: teks Arab yang sama berkisar 48 sampai 58 token, dan JSON-nya 60 sampai 72. Dan konten terstruktur padat token di mana pun: JSON rata-rata sekitar 2 karakter per token di semua tokenizer.

Anda bisa mengulanginya dengan teks Anda sendiri di [penghitung token](https://broadrouter.com/tools/token-counter/) gratis, atau penghitung per keluarga untuk [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/), dan [GPT](https://broadrouter.com/tools/gpt-token-counter/). Untuk melihat berapa yang dihemat sebuah suntingan prompt, bandingkan kedua versinya di [prompt token diff](https://broadrouter.com/tools/prompt-token-diff/). Kenapa bahasa Arab khususnya memakan lebih banyak token, diukur pada teks yang lebih panjang, dibahas di [token per kata dalam bahasa Arab vs Inggris](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/).

## Bagaimana cara menghitung token secara persis?

Jika tokenizer model itu publik, muat dan hitung secara lokal. Untuk model OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

Untuk keluarga open-weight, tokenizer biasanya disertakan bersama model di Hugging Face dan dimuat dengan `AutoTokenizer.from_pretrained(...)`. Ada dua catatan: chat template menambahkan token untuk peran dan pemisah, dan versi yang di-deploy penyedia API bisa berbeda dari file publiknya. Referensi API BroadNet tidak mendokumentasikan endpoint penghitung token atau tokenizer untuk setiap model, jadi tokenizer publik memberi perkiraan yang dekat, dan angka persisnya adalah `usage.prompt_tokens` setelah panggilan.

## Bagaimana memperkirakan token jika tokenizer-nya tidak publik?

Kalibrasi sekali per model, lalu perkirakan secara lokal:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Pakai 20 sampel nyata atau lebih per jenis konten (prompt Anda yang sebenarnya, bukan lorem ipsum). Permintaan dasar satu kata menghapus overhead tetap dari chat template, yang ditambahkan kembali oleh `estimate` sebagai `overhead`; isi dengan baseline yang Anda ukur. Kalibrasi pada model termurah BroadNet hanya jika model itulah yang akan Anda panggil: rasio [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/) tidak berlaku untuk [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/). Gambar juga ditagih sebagai token input, dan gambar yang lebih besar memakai lebih banyak token, jadi kalibrasi gambar secara terpisah per resolusi.

## Margin apa yang sebaiknya dipakai untuk max\_tokens dan konteks?

Window mencakup prompt **dan** output. Pada model penalaran, output termasuk proses berpikir tersembunyi, yang dilaporkan sebagai [token penalaran](https://broadrouter.com/id/glossary/reasoning-tokens/). Anggarkan seperti ini:

1.  **Perkiraan prompt** = hitungan terkalibrasi × 1,15 (margin keamanan 15 persen).
2.  **Anggaran jawaban** = jawaban terpanjang yang Anda terima.
3.  **Anggaran penalaran** = untuk model thinking, minimal 1.000 token; dokumentasi BroadNet merekomendasikan minimal 1.000 atau `reasoning_effort: "low"`, karena batas yang kecil bisa menghasilkan jawaban kosong.
4.  **max\_tokens** = anggaran jawaban + anggaran penalaran.
5.  **Cek**: perkiraan prompt + max\_tokens ≤ context window. Jika tidak muat, pangkas prompt-nya, bukan jawabannya.

Context window di BroadNet Inference, dari file harga yang dipublikasikan:

| Model | Context window | Batas prompt praktis dengan output 16K dan margin 15% |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1.048.576 | sekitar 897.000 |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | 1.048.576 | sekitar 897.000 |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | 262.144 | sekitar 213.000 |
| Gemma 4 VL 26B | 32.768 | sekitar 14.000 |

Kolom batas dihitung dengan (window − 16.384) ÷ 1,15, dibulatkan ke bawah. Ganti 16.384 dengan max\_tokens Anda sendiri.

## Apa yang sering salah dalam estimasi token?

-   **Menghitung kata, bukan token.** Aturan 0,75 kata per token berlaku untuk bahasa Inggris. Sampel bahasa Arab kami yang berisi 29 kata bernilai 46 sampai 102 token, tergantung tokenizer-nya.
-   **Lupa tools dan system prompt.** Skema tool berupa JSON, yang padat token. Hitung sebagai bagian dari prompt.
-   **Mengira ada pemotongan diam-diam.** Beberapa alat membuang pesan lama tanpa memberi tahu Anda. BroadNet menyatakan tidak memangkas konteks Anda, jadi periksa ukurannya sebelum mengirim, alih-alih mengandalkan server untuk memotongnya. [Kalkulator context window](https://broadrouter.com/tools/context-window-calculator/) melakukan pengecekan itu untuk Anda.
-   **Mengabaikan pertumbuhan riwayat.** Dalam chat atau loop agen, prompt bertambah setiap giliran. Cek ulang anggarannya di setiap panggilan, bukan sekali per sesi. Riwayat yang stabil juga lebih mudah di-cache; lihat [struktur prompt untuk caching](https://broadrouter.com/id/blog/prompt-structure-for-caching/).

Jika Anda bekerja dengan bahasa Arab, tokenizer adalah satu alasan lagi untuk menguji model dengan teks Anda sendiri; sisanya dibahas di [memilih LLM untuk bahasa Arab](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/). Untuk mengubah jumlah token menjadi tagihan bulanan, lihat [cara memperkirakan biaya API LLM sebelum peluncuran](https://broadrouter.com/id/blog/estimate-llm-api-cost-before-launch/).

## Posisi BroadNet Inference

BroadNet Inference mengembalikan `prompt_tokens`, `completion_tokens`, dan, jika model melaporkannya, jumlah token cache dan token penalaran di setiap respons; itu sudah cukup untuk kalibrasi. BroadNet tidak memublikasikan endpoint penghitung atau tokenizer per model, jadi hitungan sebelum pengiriman adalah perkiraan. Pekerjaan konteks panjang pada model 1M token dibahas di [panduan context window](https://broadrouter.com/id/blog/million-token-context-window-guide/), dan harga per 1M token ada di [halaman harga](https://broadrouter.com/id/pricing/).

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[Context window (jendela konteks)](https://broadrouter.com/id/glossary/context-window/)

Context window adalah jumlah token maksimum yang bisa diolah model bahasa dalam satu permintaan. Cakupannya meliputi prompt, riwayat percakapan, definisi tool, gambar, dan output yang dihasilkan, termasuk token penalaran. Apa pun yang tidak muat harus dipotong, diringkas, atau dibagi ke beberapa permintaan.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Chat template](https://broadrouter.com/id/glossary/chat-template/)

Chat template adalah aturan format, biasanya ditulis dengan Jinja dan disertakan bersama tokenizer model, yang mengubah daftar pesan chat beserta perannya menjadi satu urutan token yang diharapkan model, termasuk token kontrol khususnya. Memakai template yang salah bisa sangat menurunkan kualitas jawaban model.

[max\_tokens](https://broadrouter.com/id/glossary/max-tokens/)

max\_tokens adalah parameter API LLM yang menetapkan jumlah token maksimum yang boleh dihasilkan model dalam satu respons. Saat generasi mencapai batas itu, proses berhenti dan respons ditandai terpotong, misalnya dengan finish\_reason bernilai "length".

[Model open-weight (bobot terbuka)](https://broadrouter.com/id/glossary/open-weight-model/)

Model open-weight adalah model machine learning yang bobot hasil pelatihannya dipublikasikan agar bisa diunduh dan dijalankan siapa saja, biasanya di bawah lisensi dengan syarat tertentu. Model ini berbeda dari AI yang sepenuhnya open source, yang juga merilis kode pelatihan dan informasi rinci tentang data pelatihan agar orang lain bisa mempelajari dan mereproduksinya.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

## Pertanyaan umum

### Satu kata itu berapa token?

Dalam dataset tokenizer BroadRouter, yang menggabungkan lima tokenizer (milik empat model chat BroadNet dan o200k\_base dari OpenAI; tabel contoh di artikel ini menambahkan cl100k\_base), 1.000 kata bahasa Inggris setara sekitar 1,290 token, atau sekitar 1.29 token per kata. Patokan umum 0,75 kata per token cukup dekat untuk prosa bahasa Inggris. Bahasa Arab, aksara non-Latin lain, dan kode memakai lebih banyak token per kata. Ukur teks Anda sendiri dengan model yang Anda panggil.

### Bisakah saya memakai tiktoken untuk menghitung token DeepSeek, Qwen, atau Gemma?

Hanya sebagai perkiraan kasar. tiktoken mengimplementasikan encoding OpenAI. Keluarga model lain merilis tokenizer sendiri, sering kali di Hugging Face, dan hasil hitungannya berbeda. Kalibrasi terhadap field usage.

### Apakah ada alat gratis untuk menghitung token DeepSeek, Qwen, GLM, atau Gemma?

Ada. Penghitung token gratis BroadRouter menjalankan tokenizer yang dipublikasikan untuk keluarga model ini di browser Anda, jadi teksnya tidak keluar dari komputer Anda. Anggap hasilnya sebagai perkiraan angka yang akan dilaporkan API, karena chat template menambahkan beberapa token.

### Apa yang terjadi jika prompt saya lebih panjang dari context window?

Sebagian besar API mengembalikan error. Beberapa alat memangkas pesan lama diam-diam. BroadNet tidak memangkas konteks Anda, jadi periksa prompt plus max\_tokens terhadap window sebelum mengirim.

### Berapa margin yang perlu saya sisakan untuk max\_tokens?

Perkirakan jawaban terpanjang yang Anda harapkan, tambahkan anggaran penalaran untuk model thinking, dan biarkan 10 sampai 20 persen window kosong untuk kesalahan estimasi.

## Baca juga

-   [Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/)
-   [Kapan context window 1M token sepadan (dan kapan tidak)](https://broadrouter.com/id/blog/million-token-context-window-guide/)
-   [Cara menghitung estimasi biaya API LLM sebelum meluncurkan fitur](https://broadrouter.com/id/blog/estimate-llm-api-cost-before-launch/)
-   [Cara menyusun prompt agar prefiksnya ter-cache](https://broadrouter.com/id/blog/prompt-structure-for-caching/)
-   [Mengurangi token prompt: hasil terukur untuk system prompt, tool, data](https://broadrouter.com/id/blog/reduce-prompt-tokens/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Sumber**

-   [README tiktoken, encoding dan sekitar 4 byte per token (diakses 2026-11-14)](https://github.com/openai/tiktoken)
-   [Referensi API BroadNet Inference, max\_tokens dan penalaran (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-count-tokens-before-sending&utm_content=sources)
-   [Harga dan panjang konteks BroadNet Inference dalam format yang bisa dibaca mesin (pricing.json, diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, dokumentasi tokenizer (diakses 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
