Kebanyakan senarai “kurangkan bil LLM anda sebanyak 70%” mencampurkan nasihat yang baik dengan angka yang tidak pernah diukur sesiapa. Senarai semak ini disusun mengikut apa yang perlu dibuat dahulu, dan setiap angka datang daripada fail harga atau dokumentasi penyedia sendiri. Jika sesuatu langkah ada artikel yang lebih mendalam di laman ini, ia dipautkan ke sana. Harga BroadNet di bawah datang daripada fail harganya, disegerakkan pada 2026-11-14.
Apakah yang menentukan bil API LLM?
Empat angka menentukan hampir setiap bil:
- Token input baharu. Prompt, tolak mana-mana bahagian yang dibaca daripada cache.
- Token input cache. Prefix yang berulang, dibilkan pada kadar lebih rendah.
- Token output. Jawapan, ditambah token penaakulan pada model yang berfikir.
- Bilangan permintaan. Setiap panggilan, termasuk setiap cuba semula, dibilkan secara berasingan.
Output ialah unit yang paling mahal. Pada model chat BroadNet, bagi setiap 1M token:
| Model | Input | Input cache | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Gemma 4 VL 26B | $0.10 | tidak diterbitkan | $0.22 |
Jadi tuasnya ialah: hantar lebih sedikit token baharu, baca lebih banyak daripada cache, jana lebih sedikit, dan buat lebih sedikit panggilan. Cara harga API LLM berfungsi menerangkan setiap unit dengan terperinci.
Senarai semak secara ringkas
| Langkah | Apa yang anda ubah | Mengurangkan | Usaha |
|---|---|---|---|
| 1. Ukur | Pengelogan sahaja | Belum ada; menunjukkan di mana untuk memotong | Rendah |
| 2. Cache prefix | Susunan prompt | Harga input | Rendah |
| 3. Ringkaskan prompt | Kandungan prompt | Token input | Sederhana |
| 4. Hadkan output dan penaakulan | Tetapan permintaan | Token output | Rendah |
| 5. Pilih saiz model yang sesuai | Pilihan model | Semua harga | Sederhana |
| 6. Batch atau anjakkan kerja | Penjadualan | Harga setiap token, jika ditawarkan | Sederhana |
| 7. Cache jawapan | Kod aplikasi | Keseluruhan permintaan | Sederhana |
| 8. Hadkan cuba semula dan gelung | Kod aplikasi | Permintaan yang membazir | Rendah |
| 9. Tetapkan had perbelanjaan | Akaun dan kunci | Bil yang melambung | Rendah |
| 10. Semak titik pulang modal kadar tetap | Model pengebilan | Jumlah bil pada volum tinggi | Rendah |
1. Mengapakah perlu mengukur sebelum memotong apa-apa?
Kerana bil menyembunyikan puncanya. Dua permintaan yang kelihatan sama boleh berbeza sepuluh kali ganda dalam token. Setiap chat completion memulangkan blok usage dengan prompt_tokens, completion_tokens dan, jika penyedia melaporkannya, token cache. Log angka itu bagi setiap ciri dan setiap pengguna, tanpa teks prompt. Selepas seminggu anda akan tahu ciri mana yang paling banyak berbelanja dan sama ada puncanya input, cache miss atau output.
Pengelogan penggunaan dengan PII disunting menunjukkan satu skema log. Untuk menganggar saiz sesuatu ciri sebelum dilancarkan, gunakan kalkulator kos API LLM atau kaedah dalam anggarkan kos sebelum pelancaran.
2. Bagaimanakah prompt caching mengurangkan kos?
Penyedia menyimpan dalam cache permulaan prompt yang berulang dengan tepat. Panggilan seterusnya membaca prefix itu pada harga cache. OpenAI mengaktifkan cache secara lalai untuk model yang disokong, bermula 1,024 token, dan menyatakan input cache “discounted up to 95%” (Terjemahan: didiskaun sehingga 95%) (disemak 2026-11-15). Di BroadNet, DeepSeek V4.1 Flash mengebil input cache pada $0.0055 bagi setiap 1M, berbanding $0.175 untuk input baharu.
Peraturannya: kandungan statik dahulu, kandungan yang berubah di akhir. System prompt, kemudian skema tools, kemudian dokumen yang dikongsi, kemudian sejarah, kemudian soalan baharu. Cap masa atau senarai tools yang dikocok di bahagian atas memecahkan cache untuk semua yang selepasnya.
- Token input cache dijelaskan, termasuk cara membacanya dalam respons.
- Cara menyusun prompt supaya prefix di-cache.
- Modelkan kadar hit anda sendiri dalam kalkulator prompt caching.
3. Potongan prompt manakah yang selamat?
Buang apa yang tidak digunakan oleh model. Kemenangan biasa: system prompt panjang yang ditulis seperti esei, lebih banyak contoh few-shot daripada yang diperlukan tugasan, skema tools untuk tools yang tidak pernah dipanggil langkah itu, JSON yang meleret sedangkan jadual padat sudah memadai, dan sejarah chat penuh sedangkan ringkasan sudah memadai. Retrieval juga boleh tersasar: menghantar sepuluh cebisan sedangkan dua sudah menjawab soalan ialah masalah kos dan kualiti.
Uji setiap potongan terhadap set input yang tetap, supaya prompt yang lebih murah tidak merosakkan jawapan secara senyap. Kurangkan token prompt ada potongan yang diukur untuk setiap satu. Bahasa juga penting: teks Arab menggunakan lebih banyak token bagi setiap perkataan berbanding bahasa Inggeris pada kebanyakan tokenizer; lihat token setiap perkataan dalam bahasa Arab vs Inggeris.
4. Bagaimanakah cara menghadkan output dan penaakulan?
Minta lebih sedikit, dan tetapkan batasnya. Minta medan JSON dan bukannya prosa, had perkataan dan bukannya “terangkan”, dan jangan ulang semula soalan. Kemudian tetapkan max_tokens supaya jawapan yang terlajak berhenti.
Model yang berfikir memerlukan perhatian. Dokumentasi BroadNet menyatakan penaakulan dikira dalam max_tokens, jadi had yang rendah boleh memulangkan jawapan kosong. Kekalkan 1,000 token atau lebih, dan tetapkan reasoning_effort kepada low pada langkah mudah. Pada kunci setiap token, penaakulan dibilkan sebagai output. Token penaakulan: mengapa anda membayar lebih daripada yang anda lihat dan pembetulan jawapan kosong merangkumi kedua-dua sisi.
5. Bagaimanakah memilih model yang lebih murah tanpa menjejaskan kualiti?
Bandingkan kos setiap tugasan yang berjaya, bukan harga setiap token. Bina 50 hingga 100 input sebenar dengan output yang dijangka, jalankan setiap calon, dan bahagikan perbelanjaan dengan bilangan yang lulus. Model yang lebih murah setiap token tetapi gagal sepertiga masa boleh berharga lebih apabila anda mengambil kira cuba semula dan semakan manusia.
Semak ciri dahulu. Di BroadNet, tools dan output berstruktur didokumenkan untuk GLM 5.3 dan Qwen3.8 27B sahaja. Gemma 4 VL 26B ialah model teks dan imej BroadNet yang lebih kecil; semak harganya dalam jadual di atas untuk tugasan mudah. Banyak aplikasi menggunakan model kecil untuk langkah mudah dan model lebih besar untuk langkah sukar; anda memilih model dalam kod anda sendiri. Cara menilai LLM sebelum bertukar memberi pelan ujian.
Jangan tunggu model semasa anda menjadi lebih murah. Penyedia jarang menurunkan harga model sedia ada; penjimatan biasanya datang dengan versi baharu. Lihat sejarah harga API OpenAI vs Anthropic vs Google dan penurunan harga API LLM terbesar.
6. Bolehkah anda batch atau anjakkan kerja yang boleh menunggu?
Jika penyedia menawarkannya, boleh, dan diskaunnya besar. Semua disemak 2026-11-15:
| Penyedia | Diskaun | Syarat |
|---|---|---|
| OpenAI Batch API | 50% berbanding panggilan segerak | Selesai dalam 24 jam; had kadar berasingan |
| Anthropic Message Batches API | 50% | Tak segerak; kebanyakan batch selesai dalam masa kurang sejam |
| API DeepSeek, luar puncak | Kadar luar puncak separuh daripada kadar puncak | Waktu puncak 01:00 hingga 04:00 dan 06:00 hingga 10:00 UTC, Isnin hingga Jumaat |
BroadNet Inference tiada Batch API dan tiada harga luar puncak. Untuk kerja semalaman di BroadNet, jalankannya melalui pelari yang boleh disambung semula pada endpoint biasa dalam had kunci anda. Pemprosesan batch LLM tanpa Batch API ada kodnya. Jika kerja itu berjalan berjam-jam, sesi harga tetap mungkin lebih murah daripada token (langkah 10).
7. Bilakah anda patut cache keseluruhan jawapan?
Apabila soalan yang sama tiba lagi dengan input yang sama. Bot FAQ, klasifikasi item berulang dan larian semula pipeline selepas ranap semuanya mengulang kerja. Cache padanan tepat yang dikunci pada model, prompt dan tetapan memulangkan jawapan yang disimpan dan melangkau panggilan. Tetapkan tempoh luput supaya jawapan tidak menjadi basi. Cache respons LLM dalam Python menunjukkan pelaksanaan kecil.
8. Bagaimanakah cuba semula dan gelung membazirkan wang?
Permintaan yang dicuba semula ialah inferens baharu dan dibilkan semula pada kunci setiap token. Cuba semula hanya untuk ralat 429 dan 5xx, dengan backoff eksponen dan jitter, dan hadkan bilangan cubaan. Jangan sekali-kali cuba semula 400: permintaan salah yang sama akan gagal dengan cara yang sama.
Ejen menambah risiko kedua: gelung yang terus memanggil model. Hadkan langkah bagi setiap tugasan dan berhenti apabila panggilan tool yang sama berulang. Mengendalikan ralat 429 dan 10 cara mengurangkan kos ejen pengekodan merangkumi kedua-duanya.
9. Bagaimanakah menghalang bil daripada melambung?
Amaran memberitahu anda selepas kejadian. Had yang menghentikannya. Gunakan baki prabayar, satu kunci bagi setiap aplikasi supaya anda boleh membatalkan satu tanpa menghentikan yang lain, dan senarai benar IP pada kunci pelayan. Dalam kod, tetapkan bajet bagi setiap kerja dan berhenti apabila ia habis. Kawalan perbelanjaan API LLM menghuraikan lapisannya, daripada akaun hingga permintaan.
10. Bilakah pelan kadar tetap mengatasi harga setiap token?
Apabila ejen berjalan hampir sepanjang hari. BroadNet menjual DeepSeek V4.1 Flash mengikut token atau mengikut sesi: Full Moon $60 sebulan, Orbit $15 seminggu atau Meteor $1 sejam, tanpa meter token. Satu sesi menjalankan satu permintaan pada satu masa.
Senario contoh BroadNet bagi pengebilan setiap token:
| Beban kerja | Setiap token sebulan | Pilihan lebih murah |
|---|---|---|
| Projek sampingan | $14.23 | bayar ikut guna |
| Pembantu harian | $42.67 | bayar ikut guna |
| Ejen pengekodan sepenuh masa | $65.40 | Full Moon |
| Ejen yang sentiasa berjalan | $196.20 | Full Moon |
Pada kadar cache hit 80% dan 20 token input bagi setiap token output, titik pulang modal ialah kira-kira 917 juta token input dan 46 juta token output sebulan. Penggunaan ringan kekal lebih murah setiap token. Lihat pengiraan titik pulang modal penuh, atau cuba volum anda dalam kalkulator kadar tetap vs setiap token.
Langkah manakah yang patut anda langkau?
Sesetengah nasihat popular berharga lebih daripada penjimatannya:
- Memampatkan prompt sehingga rosak. Penjimatan input hilang jika kualiti jawapan jatuh dan pengguna mencuba semula.
- Meringkaskan sejarah pada setiap giliran. Setiap ringkasan ialah panggilan tambahan, dan ia mengubah prefix, jadi cache terlepas. Ringkaskan sekali-sekala dan tambah selebihnya di hujung.
- Mengejar harga setiap token terendah semata-mata. Had kadar, ciri yang tiada dan kadar kegagalan semuanya menambah kos.
- Hos sendiri untuk beban kerja kecil. GPU dibilkan setiap jam sama ada sibuk atau tidak. Kos hos sendiri vs API menunjukkan di mana titik pulang modalnya.
Di manakah BroadNet Inference sesuai
BroadRouter ialah laman web BroadNet sendiri, jadi nilaikan bahagian ini dengan mengambil kira hakikat itu. BroadNet Inference ialah API serasi OpenAI dengan empat model chat yang dihargakan setiap token, input cache pada tiga daripadanya, dan pelan DeepSeek V4.1 Flash harga tetap untuk penggunaan ejen yang konsisten. Ia tidak menawarkan Batch API atau kadar luar puncak, jadi untuk kerja besar yang boleh menunggu, diskaun batch OpenAI atau Anthropic, atau waktu luar puncak DeepSeek, mungkin lebih murah. Akaun baharu mendapat $5 kredit permulaan, yang meliputi Gemma 4 VL 26B, kedua-dua model Transcribe dan kunci sejam Gemma; DeepSeek, GLM dan Qwen memerlukan tambah nilai. Layan diri tiada SLA. Lihat harga atau bandingkan pelan.
