BroadRouter

Token input dan output (input and output tokens)

Dikemas kini

Token input ialah token yang dibaca oleh model bahasa dalam satu permintaan, termasuk prompt sistem, sejarah perbualan, definisi alatan dan imej. Token output ialah token yang dijananya sebagai balasan, termasuk sebarang penaakulan. API LLM biasanya meletakkan harga berasingan, dan output biasanya lebih mahal.

Juga dikenali sebagai: token input, token output, token prompt, token completion, prompt tokens, completion tokens, input tokens, output tokens

Setiap permintaan LLM mempunyai dua bahagian: apa yang anda hantar dan apa yang kembali. API mengira kedua-duanya dalam token, dan kebanyakannya mengebil pada kadar yang berbeza.

Cara ia berfungsi

Input ialah semua yang ada dalam permintaan: prompt sistem, setiap mesej terdahulu, definisi alatan, hasil alatan, dokumen dan imej. Chat berbilang giliran menghantar semula keseluruhan sejarah pada setiap giliran, jadi input bertambah seiring perbualan.

Output ialah semua yang dijana oleh model: jawapan yang kelihatan, panggilan alatan dan, pada model penaakulan, token penaakulan yang tersembunyi.

Blok usage melaporkan kedua-duanya:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

Kos satu permintaan ialah:

(new input × input price) + (cached input × cached price) + (output × output price), dengan setiap harga bagi 1M token.

Mengapa ia penting

Nisbah antara kedua-duanya menentukan harga mana yang penting. Pembantu chat mungkin menghasilkan beberapa ratus token untuk soalan pendek. Ejen pengekodan pula menghantar semula konteks repositori yang besar pada setiap giliran dan menulis tampalan pendek, jadi input boleh melebihi output sebanyak 20 berbanding 1 atau lebih. Bagi ejen, harga input dan harga input cache membentuk sebahagian besar bil.

Output masih perlu diperhatikan. Model penaakulan boleh menggunakan lebih banyak token untuk berfikir berbanding menjawab, dan token itu dibilkan sebagai output. Nisbah biasa harga output kepada input merentas model yang kami jejaki ada dalam indeks harga API LLM.

Di BroadNet Inference

Bagi setiap 1M token, daripada fail harga yang diterbitkan:

Model Input Input cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

Dalam contoh pengiraan BroadNet, ejen pengekodan sepenuh masa menghantar 1,000 juta token input sebulan dengan 80% cache hit dan menerima 50 juta token output. Pada DeepSeek V4.1 Flash mengikut token, kosnya $65.40. Pelan harga tetap membuang meter: Full Moon berharga $60 sebulan setiap sesi. Bandingkan angka anda sendiri dalam kalkulator harga atau baca harga tetap vs bayar setiap token.

Kesilapan biasa

  • Mengira harga jawapan yang kelihatan sahaja dan terlupa token penaakulan.
  • Mengabaikan betapa cepat sejarah bertambah. Giliran ke-30 sesuatu chat boleh membawa input 30 giliran.

Soalan lazim

Apakah perbezaan antara token prompt dan token input?

Tiada. Format Chat Completions menamakannya prompt_tokens dan completion_tokens. API yang lebih baharu, seperti Responses API OpenAI dan Messages API Anthropic, menamakannya input_tokens dan output_tokens.

Mengapakah output lebih mahal daripada input?

Model membaca keseluruhan prompt dalam satu laluan selari, tetapi menjana output satu token demi satu token, jadi setiap token output mengambil lebih banyak masa GPU.

Adakah definisi alatan dibilkan?

Ya. Skema alatan dan hasil alatan ialah sebahagian daripada prompt, jadi ia ialah token input pada setiap permintaan yang menyertakannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity