Kecepatan punya dua bagian: berapa lama sampai sesuatu muncul, dan seberapa cepat teks mengalir sesudahnya. Token per detik mengukur bagian kedua.
Cara kerjanya
Dokumentasi benchmark NVIDIA mendefinisikan metrik-metrik terkait:
- Time to first token (TTFT): dari pengiriman permintaan sampai token pertama diterima. Bertambah seiring panjang prompt.
- Inter-token latency (ITL): rata-rata jeda antar token output.
- TPS per pengguna: token output satu permintaan dibagi waktu end-to-end-nya, jadi dalam definisi NVIDIA angka ini sudah mencakup TTFT. Banyak dashboard justru mengutip kecepatan decode setelah token pertama, seperti yang dilakukan halaman ini.
- TPS sistem: total token output di semua permintaan yang berjalan bersamaan, disebut juga throughput.
Keduanya bergerak berlawanan arah. NVIDIA mencatat bahwa saat konkurensi naik, TPS sistem naik sementara TPS per pengguna turun. Angka pemasaran penyedia dan kecepatan satu permintaan Anda bisa sama-sama jujur namun tetap berbeda.
Perkiraan cepat untuk satu balasan:
total time ≈ TTFT + output tokens ÷ tokens per second
Artinya: total waktu ≈ TTFT + token output ÷ token per detik. Ambil contoh ilustratif stream 50 token per detik: jawaban 1.000 token memakan sekitar 20 detik setelah token pertama. Jika model juga menulis 2.000 token penalaran, tambahkan sekitar 40 detik sebelum jawaban dimulai. Time to first token masih ditambahkan di atasnya.
Kenapa ini penting
- Pengalaman pengguna. Streaming menampilkan teks selagi tiba, jadi TTFT dan TPS menentukan seberapa cepat balasan terasa.
- Throughput agen. Agen coding menunggu setiap balasan sebelum langkah berikutnya. Output yang lebih cepat berarti lebih banyak langkah per jam.
- Batas paket. Pada paket tanpa meteran token, kecepatan menjadi batas nyata berapa banyak token yang bisa Anda pakai.
Di BroadNet Inference
Halaman paket BroadNet menyebut kecepatan umum sekitar 100 token per detik untuk DeepSeek V4.1 Flash. Sesi di paket unlimited menjalankan satu permintaan dalam satu waktu, jadi pada kecepatan itu sebuah sesi yang menghasilkan tanpa henti selama 30 hari akan menghasilkan sekitar 259 juta token output. Agen sungguhan menghabiskan waktu untuk membaca, menjalankan tool, dan menunggu, jadi angka praktisnya lebih rendah.
Untuk mendapatkan total throughput lebih besar pada paket, tambahkan sesi: satu per agen yang bekerja paralel. Lihat cara kerja sesi unlimited dan menjalankan agen coding paralel.
Kesalahan umum
- Membandingkan penyedia berdasarkan satu permintaan. Ukur TTFT dan TPS di banyak permintaan, dengan ukuran prompt Anda sendiri.
- Lupa memperhitungkan waktu penalaran saat mengatur timeout client.