BroadRouter
Mulakan

Berapakah kos satu larian ejen pengekodan AI: langkah, konteks, cache

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan

Ejen menghantar semula seluruh konteksnya pada setiap langkah, jadi input bertambah mengikut kuasa dua bilangan langkah: 60 langkah berkos kira-kira 3.5 kali ganda input 30 langkah. Cache menentukan sebahagian besar bil; dengan sejarah yang hanya ditambah, lebih 90% input boleh dibilkan pada kadar cache. Darabkan kos setiap larian dengan larian bulanan dan bandingkan dengan sesi kadar tetap.

Ejen pengekodan tidak membayar setiap tugas. Ia membayar setiap langkah, dan setiap langkah menghantar semula seluruh perbualan setakat ini. Ini menjadikan kos satu larian jauh lebih bergantung pada berapa langkah yang diambil, dan berapa banyak konteks yang di-cache, berbanding harga setiap token. Catatan ini membina kos satu larian daripada bahagian-bahagian itu, dengan angka, dan menunjukkan bila sesi kadar tetap lebih murah daripada membayar setiap token.

Untuk asal token dalam setiap panggilan (skema alat, bacaan fail, sejarah), lihat ke mana token gelung ejen pergi. Catatan ini tentang aritmetik keseluruhan larian.

Bagaimanakah konteks bertambah semasa larian ejen?

Setiap panggilan mengandungi:

  • konteks asas yang dihantar pada setiap panggilan: prompt sistem, definisi alat, fail peraturan, peta repo;
  • semua yang ditambah oleh langkah terdahulu: balasan dan panggilan alat model, kandungan fail dan output arahan;
  • arahan baharu atau hasil alat.

Namakan konteks asas itu B dan token yang ditambah setiap langkah g. Langkah 1 menghantar B. Langkah 2 menghantar B + g. Langkah n menghantar B + (n − 1) × g. Jumlahkan semuanya dan larian n langkah menghantar:

Jumlah input = n × B + g × n × (n − 1) ÷ 2

Sebutan kedua bertambah mengikut kuasa dua bilangan langkah. Itulah sebabnya larian panjang mengejutkan orang: langkah terakhir larian 60 langkah jauh lebih besar daripada yang pertama, dan setiap langkah di antaranya membayar semula untuk semua yang terdahulu.

Bagaimanakah rupa satu contoh larian?

Ambil ejen dengan konteks asas 15,000 token (prompt sistem, sedozen alat dan peta repo). Setiap langkah menambah 3,000 token: satu fail atau log ujian serta balasan model sendiri. Setiap langkah menulis 800 token output, termasuk penaakulan.

Langkah Jumlah input Output Panggilan tunggal terbesar
10 285,000 8,000 42,000
30 1,755,000 24,000 102,000
60 6,210,000 48,000 192,000

Daripada 30 ke 60 langkah, kerja berganda tetapi input didarab kira-kira 3.5. Output hanya berganda. Input ialah 36 hingga 130 kali output dalam larian ini, sebab itulah harga input, dan harga input cache, paling penting untuk ejen.

Panggilan terbesar juga perlu muat dalam tetingkap konteks. 192,000 token muat dalam DeepSeek V4.1 Flash dan GLM 5.3 (1,048,576 token setiap satu) dan Qwen3.8 27B (262,144). Ia tidak muat dalam Gemma 4 VL 26B (32,768): dalam contoh ini, panggilan ketujuh sudah terlalu besar.

Sejauh manakah cache mengubah bil?

Penyedia membilkan awalan prompt yang berulang pada kadar input cache yang lebih rendah. Ejen yang hanya menambah pada sejarahnya menghantar awalan yang sama setiap kali serta sedikit tambahan, jadi dalam kes terbaik hanya token yang ditambah sejak panggilan terakhir adalah baharu:

Input baharu (kes terbaik) = B + (n − 1) × g

Semua yang lain ialah cache hit. Bahagian input cache meningkat apabila larian semakin panjang:

Langkah Input baharu, kes terbaik Bahagian di-cache
10 42,000 85%
30 102,000 94%
60 192,000 97%

Ejen sebenar jarang mencapai kes terbaik, jadi lebih baik meletakkan harga pada tiga kes. Pada harga DeepSeek V4.1 Flash BroadNet ($0.175 input, $0.0055 cache, $0.52 output setiap 1M token, diterbitkan 2026-11-14), berikut kos setiap larian berbanding kes terbaik 30 langkah:

Langkah Cache kes terbaik 80% di-cache Tiada cache
10 0.33× 0.39× 1.37×
30 1× 2.07× 8.11×
60 2.33× 6.84× 28.2×

Dua perkara menonjol. Tanpa cache, larian 60 langkah berkos 28 kali ganda larian 30 langkah yang di-cache dengan baik. Dan cache menjadi lebih penting apabila larian semakin panjang. Dalam kes terbaik 30 langkah, output kira-kira satu pertiga daripada kos, input baharu kurang daripada separuh dan input cache kurang daripada suku, jadi selepas cache, output ialah tempat penjimatan seterusnya.

Cache bukan sesuatu yang anda hidupkan begitu sahaja. Ia bergantung pada penyedia yang menyimpan awalan dan pada ejen anda yang tidak mengubahnya. Panduan OpenAI menerangkan padanan awalan yang tepat dengan panjang minimum yang boleh di-cache. API DeepSeek sendiri menyimpan unit cache pada penghujung input dan output setiap permintaan, jadi permintaan susulan yang memanjangkan permintaan sebelumnya boleh mendapat hit. Halaman harga BroadNet menyatakan input cache tidak memerlukan persediaan, dan dokumentasinya melaporkan hit dalam usage.prompt_tokens_details.cached_tokens apabila model menyediakannya. Katalog model BroadNet menyenaraikan DeepSeek V4.1 Flash di bawah “models we never ran on our hardware” (Terjemahan: model yang tidak pernah kami jalankan pada perkakasan kami), dan Terma (§7.3) meliputi model itu “when partner-hosted” (Terjemahan: apabila dihoskan oleh rakan kongsi), jadi di BroadNet ia disediakan melalui rakan kongsi. Ukur kadar hit anda dan bukan menganggap angka DeepSeek sendiri. Tulis awalan supaya ia boleh di-cache: struktur prompt untuk cache.

Bagaimanakah anda menganggarkan larian anda sendiri?

Skrip ini membaca harga semasa daripada pricing.json awam BroadNet, jadi ia tidak pernah lapuk, dan mencetak jumlah token serta kos setiap larian bagi setiap kes cache:

import json, urllib.request

PRICES = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in PRICES["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
p_in, p_cached, p_out = m["input_per_m"], m["cached_input_per_m"], m["output_per_m"]

def run_tokens(steps, base=15_000, growth=3_000, out_per_step=800, cache_rate=None):
    total_in = steps * base + growth * steps * (steps - 1) // 2
    if cache_rate is None:                      # best case: only new tokens miss
        new_in = base + (steps - 1) * growth
    else:
        new_in = round(total_in * (1 - cache_rate))
    return total_in, new_in, steps * out_per_step

def run_cost(total_in, new_in, out):
    return ((new_in * p_in) + (total_in - new_in) * p_cached + out * p_out) / 1e6

for steps in (10, 30, 60):
    for label, rate in (("best", None), ("80%", 0.8), ("none", 0.0)):
        t, n, o = run_tokens(steps, cache_rate=rate)
        print(f"{steps:>3} steps  cache {label:>4}  input {t:>9,}  new {n:>9,}  "
              f"output {o:>6,}  cost/run {run_cost(t, n, o):.4f} USD")

Gantikan nilai lalai dengan angka anda sendiri. Jangan meneka; baca angka itu daripada satu larian sebenar:

  1. Log prompt_tokens, prompt_tokens_details.cached_tokens dan completion_tokens bagi setiap panggilan, seperti dalam catatan bajet token ejen.
  2. B ialah prompt_tokens panggilan pertama. g ialah purata pertambahan prompt_tokens dari satu panggilan ke panggilan seterusnya.
  3. Output setiap langkah ialah purata completion_tokens. Ia termasuk token penaakulan, yang dibilkan sebagai output.
  4. Kadar cache sebenar anda ialah jumlah cached_tokens dibahagi jumlah prompt_tokens.

Penganggar kos larian ejen percuma menjalankan pengiraan yang sama dalam pelayar anda, jadi anda boleh mencuba bilangan langkah, kadar pertumbuhan dan kadar cache lain tanpa kod.

Apakah yang menjadikan larian lebih mahal daripada anggaran?

  • Cubaan semula. Panggilan alat yang gagal atau cubaan semula 429 ialah satu lagi panggilan dengan konteks penuh. Kiranya sebagai langkah.
  • Mengubah awalan. Cap masa dalam prompt sistem, alat yang disenaraikan dalam susunan berbeza, atau fail peraturan yang disunting di tengah larian menukar input cache kembali kepada input baharu dari titik perubahan itu.
  • Pemampatan. Meringkaskan sejarah mengecilkan konteks, yang mengurangkan input selepas itu, tetapi sejarah baharu belum pernah di-cache, jadi panggilan seterusnya membayar harga input penuh. Mampatkan jarang-jarang dan dalam langkah besar; pengurusan konteks untuk ejen yang berjalan lama menerangkan bilakah.
  • Output alat yang besar. Log ujian 20,000 baris yang ditambah pada langkah 5 terbawa-bawa pada setiap langkah selepasnya. Dalam formula, ia menambah 20,000 × (langkah berbaki) token input.
  • Usaha penaakulan. Usaha yang tinggi boleh mendarabkan output setiap langkah. Tetapkan reasoning_effort kepada low untuk suntingan rutin.
  • Merayau. Ejen yang mengambil 60 langkah untuk tugas 30 langkah membayar kuasa dua, bukan dua kali ganda. Had langkah ialah had kos. Sepuluh cara mengurangkan kos ejen pengekodan merangkumi tuil-tuilnya.

Bilakah sesi kadar tetap lebih murah daripada pengebilan setiap token?

Tukar kos setiap larian kepada angka bulanan: kos bulanan = kos setiap larian × larian sebulan. Kemudian bandingkan dengan pelan kadar tetap. Di BroadNet, pelan meliputi DeepSeek V4.1 Flash tanpa meter token: Full Moon $60 sebulan, Orbit $15 seminggu dan Meteor $1 sejam, setiap satu bagi setiap sesi.

Larian sebulan untuk pulang modal = harga pelan ÷ kos setiap larian.

Dua perkara menjadikan perbandingan ini kurang mudah daripada yang disangka:

  1. Kadar cache anda menentukan sisi setiap token. Dengan kadar cache yang tinggi, pengebilan setiap token pada Flash murah dan anda memerlukan banyak larian untuk melepasi $60. Dengan kadar yang lemah, anda melepasinya dengan cepat. Catatan kadar tetap menunjukkan titik pulang modal sebagai volum bulanan: kira-kira 917 juta token input dan 46 juta token output pada 80% di-cache (kiraan titik pulang modal).
  2. Masa menentukan siling sisi kadar tetap. Satu sesi menjalankan satu permintaan pada satu masa. Jika satu panggilan mengambil purata 20 saat (prefill, kira-kira 800 token output pada kira-kira 100 token sesaat, serta masa alat), larian 30 langkah mengambil kira-kira 10 minit. Satu sesi kemudiannya memuatkan paling banyak kira-kira enam larian sejam. Lebih banyak ejen selari memerlukan lebih banyak sesi.

Untuk lonjakan pendek, Meteor berfungsi dengan cara yang sama pada skala lebih kecil: jika enam larian muat dalam sejam, setiap satu berkos $1 ÷ 6. Bandingkan itu dengan kos setiap token skrip bagi satu larian. Untuk mencuba volum anda sendiri, gunakan kalkulator kadar tetap vs setiap token.

Corak anda Biasanya lebih murah
Beberapa larian pendek sehari Setiap token
Larian panjang dengan cache yang lemah Sesi kadar tetap
Ejen yang berjalan hampir sepanjang hari bekerja Sesi kadar tetap
Beberapa ejen selari, sepanjang hari Satu sesi kadar tetap setiap ejen
Memerlukan panggilan alat asli di BroadNet Setiap token pada GLM 5.3 atau Qwen3.8 27B

Di manakah tempat BroadNet Inference

BroadNet melaporkan token cache dan token penaakulan dalam blok penggunaan, jadi anda boleh mengukur setiap angka di atas daripada larian anda sendiri. DeepSeek V4.1 Flash mempunyai harga input cache yang rendah dan konteks 1,048,576 token, dan pelan tanpa had membuang meter tokennya; cara sesi berfungsi.

Semak satu had dahulu. Dokumentasi BroadNet menyenaraikan panggilan alat hanya untuk GLM 5.3 dan Qwen3.8 27B, dan kedua-duanya tiada pada pelan kadar tetap. Ejen yang menyunting melalui teks, seperti Aider, tidak memerlukan panggilan alat asli. Jika ejen anda memerlukannya, uji DeepSeek V4.1 Flash dengan ejen anda sebelum membeli pelan, atau bajetkan GLM atau Qwen setiap token. Dan jika ejen anda hanya berjalan sekali-sekala, membayar setiap token biasanya berkos lebih rendah daripada mana-mana pelan kadar tetap.

Soalan lazim

Berapakah kos satu larian ejen pengekodan AI?

Kira token, kemudian letakkan harga. Dalam contoh catatan ini, larian 30 langkah dengan konteks asas 15,000 token dan 3,000 token ditambah setiap langkah menghantar 1,755,000 token input dan 24,000 token output. Kosnya bergantung terutamanya pada berapa banyak input yang dibilkan pada kadar cache.

Mengapakah larian ejen yang lebih panjang berkos jauh lebih tinggi?

Setiap langkah menghantar semula semua yang sebelumnya. Input setiap langkah bertambah secara linear, jadi jumlah sepanjang larian bertambah mengikut kuasa dua bilangan langkah. Menggandakan larian daripada 30 kepada 60 langkah mendarabkan inputnya kira-kira 3.5 kali dalam contoh kiraan.

Apakah kadar cache hit yang patut saya jangkakan daripada ejen pengekodan?

Ia bergantung pada ejen dan penyedia. Dengan sejarah yang hanya ditambah secara ketat, hanya token terbaharu yang terlepas, yang memberikan 85% hingga 97% dalam contoh kami. Sejarah yang disunting, cap masa dalam prompt sistem dan jeda panjang merendahkannya. Ukurnya daripada prompt_tokens_details.cached_tokens.

Bilakah sesi kadar tetap lebih murah daripada pengebilan setiap token untuk ejen?

Apabila kos setiap larian × larian sebulan melebihi harga pelan. Di BroadNet, Full Moon ialah $60 sebulan setiap sesi untuk DeepSeek V4.1 Flash. Penggunaan ringan atau sekali-sekala biasanya lebih murah setiap token.

Adakah token penaakulan mengubah anggaran?

Ya. Ia dibilkan sebagai output, dan output lebih mahal setiap token berbanding input. Masukkan penaakulan yang anda ukur ke dalam output setiap langkah. Di BroadNet, completion_tokens_details.reasoning_tokens melaporkannya apabila model menyediakannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity