Chat berkos apa yang anda taip serta apa yang ditulis oleh model. Ejen berkos jauh lebih tinggi, kerana ia memanggil model berpuluh-puluh kali dan menghantar semula hampir semuanya setiap kali. Jika anda mahu mengurangkan kos itu, atau sekadar berhenti mencecah tetingkap konteks, anda perlu tahu bahagian mana dalam setiap permintaan yang besar. Catatan ini memecahkan gelung ejen kepada lima bahagian, menunjukkan cara mengukur setiap satu daripada data penggunaan API sendiri, dan menyenaraikan apa yang perlu dipangkas dahulu.
Mengapakah ejen menghantar semula semuanya?
API chat-completions tidak menyimpan keadaan. Model tidak mengingati apa-apa antara panggilan, jadi ejen menghantar konteks penuh pada setiap langkah. Tugas 40 langkah di mana setiap panggilan membawa 30,000 token membaca 1.2 juta token input untuk menghasilkan mungkin 40,000 token output. Nisbah 30 berbanding 1 itulah sebabnya token input dan harga cache-nya mendominasi bil ejen.
Ke manakah token pergi?
| Bahagian | Apa itu | Berulang setiap panggilan? | Pemacu biasa |
|---|---|---|---|
| Prompt sistem | Arahan ejen, fail peraturan, nota projek | Ya | Fail peraturan yang panjang |
| Skema alat | Nama, penerangan dan JSON Schema setiap alat | Ya | Alat terbina dalam serta setiap pelayan MCP |
| Sejarah | Mesej, panggilan alat dan hasil terdahulu | Ya, dan bertambah | Sesi yang panjang |
| Bacaan fail dan output alat | Kandungan fail, log ujian, hasil carian | Ya, sehingga dibuang | Membaca fail penuh, arahan yang verbose |
| Output | Jawapan yang kelihatan, panggilan alat dan penaakulan | Tidak | Usaha penaakulan, menulis semula fail penuh |
Dua yang pertama ialah overhed tetap. Cursor menulis pada September 2026 bahawa prompt sistem dan definisi alat “had become one of the largest sources of spend that we fully control” (Terjemahan: telah menjadi antara sumber perbelanjaan terbesar yang kami kawal sepenuhnya), dan menggelar bacaan fail “another large source of token spend” (Terjemahan: satu lagi sumber besar perbelanjaan token). Perubahannya, termasuk memotong kira-kira dua pertiga prompt sistem dan memuatkan alat yang digunakan dalam kurang daripada 20% perbualan hanya apabila perlu, mengurangkan kos token pengguna sebanyak 7%. Pasukan VS Code GitHub menamakan dua kos yang sama untuk Copilot: awalan prompt yang berulang dan overhed definisi alat.
Bagaimanakah anda mengukurnya?
Anda tidak memerlukan produk pengesanan. Blok penggunaan pada setiap respons sudah memadai.
- Hidupkan penggunaan. Untuk streaming, tambah
stream_options: {"include_usage": true}; penggunaan tiba dalam cebisan terakhir. Lihat streaming. - Log setiap panggilan: nombor langkah,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokensdan, apabila dilaporkan,completion_tokens_details.reasoning_tokens. - Ukur overhed tetap sekali. Hantar satu permintaan dengan hanya prompt sistem dan alat, serta perkataan “hi”.
prompt_tokens-nya ialah lantai anda. - Ukur output sesuatu alat. Kira aksara setiap hasil alat sebelum anda menambahkannya. Membahagikan dengan empat memberikan anggaran kasar bilangan token bahasa Inggeris; tampal sampel ke dalam pengira token percuma untuk angka tepat pada tokenizer model anda.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
Plot prompt_tokens mengikut langkah. Cerun yang tetap bermakna sejarah sedang bertambah. Lonjakan mendadak bermakna fail atau log besar telah masuk ke konteks. Lantai yang tinggi bermakna terlalu banyak alat.
Dalam Aider, /tokens melaporkan apa yang ada dalam konteks semasa, dan /drop membuang fail daripadanya.
Apakah yang patut dipangkas dahulu?
Susun mengikut saiz didarab ulangan, bukan mengikut apa yang paling mudah:
- Alat yang tidak digunakan. Setiap skema alat ikut serta dalam setiap panggilan. Panduan OpenAI menyatakan definisi fungsi “are billed as input tokens” (Terjemahan: dibilkan sebagai token input) dan mencadangkan kurang daripada 20 fungsi pada permulaan giliran, sebagai peraturan longgar. Lumpuhkan pelayan MCP yang tidak anda gunakan dalam tugas ini; dokumentasi opencode menyatakan dengan jelas bahawa alat MCP menggunakan konteks model.
- Output alat. Hadkan output arahan (200 baris terakhir log ujian, bukan 20,000). Pulangkan hasil carian sebagai laluan dan nombor baris, kemudian baca hanya apa yang diperlukan.
- Bacaan fail. Baca fungsi, bukan fail. Peta repo Aider menggunakan bajet lalai 1k token (
--map-tokens) dan bukan fail penuh. - Sejarah. Mulakan tugas baharu bagi setiap perubahan. Apabila sesi mesti diteruskan, gantikan giliran lama dengan ringkasan pendek.
- Prompt sistem. Buang peraturan yang sudah dipatuhi model. Kekalkan yang selebihnya stabil.
- Output. Minta diff, bukan fail penuh. Tetapkan
reasoning_effortkepadalowuntuk langkah rutin. Token penaakulan dibilkan sebagai output.
Mengapakah awalan perlu dikekalkan stabil?
Penyedia membuat cache bagi awalan yang berulang dan membilkannya pada kadar lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash membilkan input cache pada $0.0055 setiap 1M token dan input baharu pada $0.175. GLM 5.3 membilkan $0.173 berbanding $0.78. Cap masa dalam prompt sistem, atau alat yang disenaraikan dalam susunan berbeza setiap panggilan, memecahkan cache dari titik itu. Letakkan bahagian stabil dahulu, dalam susunan tetap, dan bahagian yang berubah di hujung. Lebih lanjut dalam penjelasan token input cache; kalkulator prompt caching menunjukkan penjimatan bagi sesuatu kadar hit.
Cache merendahkan harga awalan, tetapi bukan saiznya. Token cache masih memenuhi tetingkap konteks dan masih mengambil masa untuk diproses.
Bagaimanakah rupa contoh bajet ejen?
Ambil tugas 40 langkah di atas, dengan 80% input di-cache:
| Bahagian | Token | Dibilkan pada |
|---|---|---|
| Input baharu | 240,000 | Harga input |
| Input cache | 960,000 | Harga input cache |
| Output termasuk penaakulan | 40,000 | Harga output |
Memotong 5,000 token skema alat yang tidak digunakan daripada setiap panggilan membuang 200,000 token input daripada tugas ini, kira-kira satu perenam daripada jumlah, tanpa mengubah tingkah laku ejen. Untuk tuil kos selain memangkas, seperti pilihan model, cache dan pelan kadar tetap, lihat 10 cara mengurangkan kos LLM ejen pengekodan. Untuk persediaan berbilang ejen, darabkan dengan bilangan ejen; lihat kos sebenar persediaan berbilang ejen. Untuk memodelkan gelung anda sendiri langkah demi langkah, gunakan penganggar kos larian ejen.
Di manakah tempat BroadNet Inference
BroadNet Inference memulangkan token prompt dan completion dalam blok penggunaan, serta token cache dan penaakulan apabila model melaporkannya, jadi pengukuran di atas berfungsi seperti yang ditulis. Harga input cache yang rendah pada DeepSeek V4.1 Flash menguntungkan awalan yang stabil. Jika memangkas tidak berbaloi dengan masa anda, pelan tanpa had membuang meter token untuk DeepSeek V4.1 Flash pada $60 sebulan setiap sesi; tetingkap konteks masih terpakai, dan konteks yang ramping masih berjalan lebih pantas. Pelan ada di inference.broadnet.ai/plans.
