Untuk memilih penyedia API LLM, beri skor kepada setiap calon dalam enam bidang: kos bulanan beban kerja sebenar anda, had kadar dan keserentakan, keserasian OpenAI, terma pengekalan data dan latihan, model yang anda perlukan, dan sokongan serta kebolehpercayaan. Kemudian uji dua teratas dengan seminggu trafik sebenar. Di bawah: 20 soalan, helaian skor dan pelan ujian.
Setelah anda memilih, senarai semak migrasi merangkumi proses pertukaran itu sendiri, dan cara menilai LLM sebelum bertukar merangkumi ujian kualiti secara mendalam.
Berapakah kos sebenarnya? (soalan 1 hingga 4)
- Berapakah kos beban kerja sebenar saya sebulan? Kira harga input, input cache dan output secara berasingan; kalkulator kos API LLM percuma melakukannya bagi setiap model. Ejen menghantar semula konteks yang sama, jadi input cache sering mendominasi. Penjelasan harga kami menerangkan setiap baris.
- Adakah token penaakulan dibilkan sebagai output? Model penaakulan boleh menghabiskan lebih banyak token untuk berfikir daripada menjawab.
- Adakah pilihan kadar tetap? Untuk ejen yang sentiasa aktif, pelan kadar tetap boleh mengatasi pengebilan setiap token. Lihat kiraan titik pulang modal.
- Adakah harga boleh dibaca mesin dan bertarikh? Fail harga JSON membolehkan anda menjejak perubahan dan membina amaran kos.
Set data terbuka kami tentang peringkat percuma dan had kadar API LLM membandingkan apa yang diterbitkan oleh 14 penyedia tentang akses percuma, had kadar permulaan, keperluan kad dan latihan pada data peringkat percuma, dengan sumber dan tarikh bagi setiap nilai.
Had manakah yang akan anda capai dahulu? (soalan 5 hingga 7)
- Apakah had permintaan seminit dan had keserentakan? Keserentakan (permintaan yang sedang berjalan) ialah perkara yang menghentikan ejen selari dan kerja kelompok. Lihat had kadar dan keserentakan, dan saizkan trafik anda berbanding had dengan kalkulator had kadar.
- Adakah had token, tetingkap bergulir atau kuota mingguan? Pelan “tanpa had” selalunya ada satu. Baca apa sebenarnya maksud tanpa had.
- Apakah tetingkap konteksnya, dan adakah ia dipangkas? Semak had maksimum sebenar bagi setiap permintaan, dan sama ada penyedia memotong prompt panjang secara senyap.
Sejauh manakah ia serasi dengan kod anda? (soalan 8 hingga 10)
- Adakah ia serasi OpenAI, dan sejauh mana? Perubahan base URL sepatutnya berfungsi. Kemudian uji streaming dengan penggunaan, panggilan alat, output berstruktur dan kod ralat. Senarai semak migrasi menyenaraikan apa yang rosak.
- Adakah ia berfungsi dengan alatan saya? SDK, rangka kerja ejen, pembantu IDE. Semak panduan integrasi penyedia.
- Adakah ID model stabil? Anda mahukan ID berversi dan notis sebelum sesuatu model ditamatkan.
Apakah yang berlaku kepada data anda? (soalan 11 hingga 13)
- Adakah prompt dan output disimpan, dan untuk berapa lama? Banyak penyedia menyimpan kandungan API sehingga 30 hari secara lalai. Bandingkan kata-kata rasmi dalam perbandingan pengekalan data API LLM.
- Adakah data saya digunakan untuk latihan? Semak tetapan lalai untuk peringkat anda, secara bertulis.
- Bolehkah saya menandatangani DPA, melihat subpemproses dan menyekat kunci? Gunakan senarai semak GDPR jika anda memproses data peribadi EU, dan minta senarai IP dibenarkan.
Adakah ia mempunyai model yang anda perlukan? (soalan 14 hingga 16)
- Adakah penyedia mempunyai saiz dan keupayaan model yang saya perlukan? Penglihatan (vision), panggilan alat, penaakulan, konteks panjang, pertuturan.
- Bagaimanakah prestasi setiap model pada tugas saya? Bina 30 hingga 50 kes ujian sebenar dan beri skor. Penanda aras hanyalah penapis pertama; tempat membandingkan LLM menyenaraikan papan pendahulu dan apa yang diukur oleh setiap satu. Panduan penilaian menunjukkan cara membina set itu dan mengelakkan bias hakim.
- Open-weight atau tertutup? Model open-weight boleh dihoskan oleh beberapa penyedia, yang mengurangkan lock-in. Lihat model open-weight vs tertutup.
Adakah ia akan kekal beroperasi, dan siapa yang menjawab? (soalan 17 hingga 20)
- Adakah halaman status dan sejarah insiden?
- Adakah SLA bertulis untuk pengeluaran?
- Siapakah yang menjalankan GPU? Perkakasan sendiri, awan, atau kapasiti yang dijual semula daripada API lain. Setiap satu menambah pihak dalam laluan data dan kebolehpercayaan.
- Bagaimanakah saya menghubungi manusia? Masa respons, saluran, dan sama ada pasukan sokongan dapat melihat kandungan permintaan anda.
Bagaimanakah anda membandingkan skor penyedia?
Beri skor bagi setiap soalan 0 (tidak atau tidak diketahui), 1 (sebahagian) atau 2 (ya, secara bertulis). Beri pemberat kepada kumpulan mengikut kes penggunaan anda:
| Kumpulan | Soalan | Pemberat untuk ejen | Pemberat untuk aplikasi terkawal selia |
|---|---|---|---|
| Harga | 1 hingga 4 | Tinggi | Sederhana |
| Had | 5 hingga 7 | Tinggi | Sederhana |
| Keserasian | 8 hingga 10 | Sederhana | Sederhana |
| Privasi | 11 hingga 13 | Sederhana | Tinggi |
| Model | 14 hingga 16 | Tinggi | Tinggi |
| Sokongan dan kebolehpercayaan | 17 hingga 20 | Sederhana | Tinggi |
“Tidak diketahui” diberi skor 0 bersebab: jika penyedia tidak dapat menjawab, anda tidak boleh bergantung padanya.
Bagaimanakah anda menguji penyedia dalam seminggu?
- Pilih dua penyedia teratas daripada helaian skor.
- Halakan sebahagian trafik sebenar kepada setiap satu melalui SDK OpenAI yang sama, dengan ID model dan base URL dalam konfigurasi.
- Log bagi setiap permintaan: model, token prompt, token cache, token completion, kependaman, kod status. Jangan sekali-kali log kandungan.
- Cetuskan waktu puncak anda: jalankan kerja kelompok atau ejen selari anda, dan perhatikan ralat 429. Panduan ralat dan cubaan semula menunjukkan back-off yang betul.
- Darabkan token seminggu dengan kira-kira 4.3 dan kira kos sebulan bagi setiap penyedia.
- Beri skor kepada output pada set ujian anda.
Bagaimanakah BroadNet Inference menjawab senarai semak ini
| # | BroadNet Inference |
|---|---|
| 1, 4 | Harga setiap token diterbitkan dalam pricing.json, disegerakkan 2026-11-14 |
| 3 | Pelan kadar tetap untuk DeepSeek V4.1 Flash: $60 sebulan, $15 seminggu atau $1 sejam setiap sesi |
| 5 | Bayar ikut guna: 30 permintaan seminit, 4 serentak; sesi pelan menjalankan satu permintaan pada satu masa |
| 6 | Pelan: tiada meter token, tiada tetingkap bergulir, tiada had mingguan |
| 7 | Sehingga 1,048,576 token pada DeepSeek V4.1 Flash dan GLM 5.3; halaman pelan menyatakan konteks tidak pernah dipangkas |
| 8 | Serasi OpenAI di https://inference.broadnet.ai/v1 |
| 11, 12 | Tiada prompt atau output disimpan; tidak digunakan untuk melatih, menala halus atau menilai model |
| 13 | Senarai IP dibenarkan sehingga 32 entri; senarai subpemproses atas permintaan; minta DPA |
| 14 | Empat model chat serta dua model speech-to-text |
| 19 | Penyata privasi BroadNet menyatakan model sendiri dan model open-weight yang dihoskannya berjalan pada perkakasan AS milik atau pajakan BroadNet, dengan kapasiti rakan kongsi sebagai sandaran; model yang disajikan rakan kongsi seperti DeepSeek V4.1 Flash berjalan dengan rakan kongsi inferens AS di bawah terma ZDR |
Apa yang tidak kami temui dalam halaman dokumentasi atau pelan BroadNet (disemak 14 November 2026): SLA, halaman status atau dasar penamatan model. Mintalah jika ia penting kepada anda, dan sediakan penyedia kedua untuk laluan kritikal. Katalognya juga lebih kecil daripada agregator: jika anda memerlukan model GPT, Claude atau Gemini, BroadNet bukan penyedia untuk trafik itu. Kredit permulaan $5 cukup untuk langkah 3 pelan ujian pada beban kerja ringan, tetapi antara model chat yang diliputinya, hanya Gemma 4 VL 26B (ia juga meliputi dua model Transcribe); model chat lain memerlukan tambah nilai.

