BroadRouter

Token per detik (tokens per second, TPS)

Diperbarui

Token per detik (TPS) adalah laju model bahasa menghasilkan token output, biasanya diukur untuk satu permintaan setelah token pertamanya tiba. Angka ini menentukan seberapa cepat balasan mengalir setelah dimulai. Jika dijumlahkan di semua permintaan bersamaan, ia menjadi throughput sistem; waktu tunggu sebelum token pertama diukur terpisah.

Disebut juga: token per detik, kecepatan generasi, kecepatan output, TPS, tok/s, tokens per second, output speed, generation speed

Kecepatan punya dua bagian: berapa lama sampai sesuatu muncul, dan seberapa cepat teks mengalir sesudahnya. Token per detik mengukur bagian kedua.

Cara kerjanya

Dokumentasi benchmark NVIDIA mendefinisikan metrik-metrik terkait:

  • Time to first token (TTFT): dari pengiriman permintaan sampai token pertama diterima. Bertambah seiring panjang prompt.
  • Inter-token latency (ITL): rata-rata jeda antar token output.
  • TPS per pengguna: token output satu permintaan dibagi waktu end-to-end-nya, jadi dalam definisi NVIDIA angka ini sudah mencakup TTFT. Banyak dashboard justru mengutip kecepatan decode setelah token pertama, seperti yang dilakukan halaman ini.
  • TPS sistem: total token output di semua permintaan yang berjalan bersamaan, disebut juga throughput.

Keduanya bergerak berlawanan arah. NVIDIA mencatat bahwa saat konkurensi naik, TPS sistem naik sementara TPS per pengguna turun. Angka pemasaran penyedia dan kecepatan satu permintaan Anda bisa sama-sama jujur namun tetap berbeda.

Perkiraan cepat untuk satu balasan:

total time ≈ TTFT + output tokens ÷ tokens per second

Artinya: total waktu ≈ TTFT + token output ÷ token per detik. Ambil contoh ilustratif stream 50 token per detik: jawaban 1.000 token memakan sekitar 20 detik setelah token pertama. Jika model juga menulis 2.000 token penalaran, tambahkan sekitar 40 detik sebelum jawaban dimulai. Time to first token masih ditambahkan di atasnya.

Kenapa ini penting

  • Pengalaman pengguna. Streaming menampilkan teks selagi tiba, jadi TTFT dan TPS menentukan seberapa cepat balasan terasa.
  • Throughput agen. Agen coding menunggu setiap balasan sebelum langkah berikutnya. Output yang lebih cepat berarti lebih banyak langkah per jam.
  • Batas paket. Pada paket tanpa meteran token, kecepatan menjadi batas nyata berapa banyak token yang bisa Anda pakai.

Di BroadNet Inference

Halaman paket BroadNet menyebut kecepatan umum sekitar 100 token per detik untuk DeepSeek V4.1 Flash. Sesi di paket unlimited menjalankan satu permintaan dalam satu waktu, jadi pada kecepatan itu sebuah sesi yang menghasilkan tanpa henti selama 30 hari akan menghasilkan sekitar 259 juta token output. Agen sungguhan menghabiskan waktu untuk membaca, menjalankan tool, dan menunggu, jadi angka praktisnya lebih rendah.

Untuk mendapatkan total throughput lebih besar pada paket, tambahkan sesi: satu per agen yang bekerja paralel. Lihat cara kerja sesi unlimited dan menjalankan agen coding paralel.

Kesalahan umum

  • Membandingkan penyedia berdasarkan satu permintaan. Ukur TTFT dan TPS di banyak permintaan, dengan ukuran prompt Anda sendiri.
  • Lupa memperhitungkan waktu penalaran saat mengatur timeout client.

Pertanyaan umum

Berapa angka token per detik yang bagus?

Tergantung kegunaannya. Balasan chat terasa responsif begitu teks muncul lebih cepat daripada kecepatan orang membaca. Agen dan pekerjaan batch lebih peduli pada total waktu per tugas dan berapa permintaan yang berjalan paralel.

Apakah token per detik termasuk prompt?

Biasanya tidak. Kecepatan generasi menghitung token output. Pembacaan prompt justru terlihat sebagai time to first token, yang bertambah seiring panjang prompt.

Apakah token penalaran memperlambat jawaban?

Ya. Token penalaran dihasilkan dengan kecepatan yang sama seperti output yang terlihat, jadi model yang berpikir sebanyak 2.000 token menunda jawaban selama waktu yang dibutuhkan token-token itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity