BroadRouter

Menambahkan BroadNet Inference ke LibreChat sebagai custom endpoint

Diperbarui

Di librechat.yaml, tambahkan entri di bawah endpoints.custom dengan name BroadNet, apiKey berisi referensi environment variable seperti BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1, dan models.default berisi ID BroadNet seperti broadnet/glm-5.3. Simpan kunci di .env, mount file ke container jika memakai Docker, lalu restart LibreChat. LibreChat menambahkan /chat/completions ke base URL sendiri.

LibreChat adalah aplikasi chat open source yang mendukung layanan kompatibel OpenAI sebagai custom endpoint. Anda mendefinisikannya di librechat.yaml, menyimpan kunci di .env, dan, jika memakai Docker, me-mount file YAML ke dalam container. BroadRouter adalah situs milik BroadNet sendiri; langkah-langkahnya mengikuti panduan custom endpoint LibreChat.

Penyiapan

  1. Mount librechat.yaml (khusus Docker). Salin docker-compose.override.yml.example menjadi docker-compose.override.yml dan pastikan volume-nya aktif:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Tambahkan endpoint ke librechat.yaml di root proyek, di bawah endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Pertahankan key tingkat atas yang sudah ada di file Anda, seperti version.

  1. Atur kunci di .env:
BROADNET_API_KEY=your-broadnet-key
  1. Restart LibreChat. Dengan Docker: docker compose down && docker compose up -d. Untuk instalasi lokal, restart dengan npm run backend. BroadNet lalu muncul di selector endpoint.

Catatan per field

  • baseURL. LibreChat menambahkan /chat/completions sendiri, jadi pakai root /v1 seperti di atas. Jangan atur directEndpoint: true; opsi itu untuk baseURL yang sudah berupa URL completions lengkap.
  • fetch: false. Ini default LibreChat; kami menuliskannya agar pilihannya terlihat jelas. Dokumentasi BroadNet menjelaskan GET /v1/models sebagai metadata katalog publik untuk monitor, jadi mencantumkan model di default lebih bisa diprediksi.
  • titleModel. LibreChat membuat judul untuk setiap chat dengan satu permintaan tambahan. Model kecil dan murah tanpa penalaran membuat panggilan itu tetap singkat. Dokumentasi BroadNet tidak mencantumkan penalaran untuk Gemma 4 VL 26B.
  • user_provided. Atur apiKey: 'user_provided' jika setiap pengguna harus memasukkan kunci BroadNet sendiri di UI. LibreChat menyimpan kunci setiap pengguna dalam bentuk terenkripsi dan memintanya saat pertama kali mereka memilih endpoint itu.
  • Nama unik. Endpoint kedua dengan nama yang sama, tanpa membedakan huruf besar dan kecil, diam-diam menggantikan yang pertama. Jika Anda sudah punya entri bernama BroadNet, ganti nama salah satunya.
  • Jangan tulis kunci langsung. Dokumentasi LibreChat menyarankan referensi ${VAR} alih-alih kunci yang diketik di librechat.yaml, karena kunci itu akan tersimpan di file sebagai teks biasa.

Model mana yang dipilih

Kegunaan Model
Chat default, tools, JSON GLM 5.3
Gambar dan bahasa Arab Qwen3.8 27B
Dokumen panjang, konteks 1M DeepSeek V4.1 Flash
Judul dan balasan singkat BroadNet Gemma 4 VL 26B

Dari model-model ini, hanya Gemma 4 VL 26B yang berjalan dengan kredit awal $5, yang juga mencakup dua model Transcribe. Bandingkan harganya di halaman harga.

Pemecahan masalah

  • Endpoint tidak muncul. Periksa bahwa name, baseURL, apiKey, dan models.default ditulis dengan benar dan menjorok di dalam endpoints.custom. LibreChat membuang entri yang tidak lengkap tanpa baris log. Jika memakai Docker, pastikan bind mount di docker-compose.override.yml sudah tidak dikomentari.
  • “Missing API Key for BroadNet”. BROADNET_API_KEY tidak ada di .env, atau LibreChat belum di-restart. Endpoint tetap muncul; error baru tampil saat Anda mengirim pesan.
  • 401 dari provider. Kuncinya salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis.
  • Error model. Setiap ID harus sama persis dengan ID BroadNet, lengkap dengan prefiks broadnet/. GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up.
  • Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar dulu, dan penalaran ikut dihitung dalam max_tokens. Jika Anda mengatur max output yang kecil di parameter LibreChat, naikkan. Kenapa jawaban kembali kosong.
  • 429 saat banyak pengguna. Satu kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 sekaligus, dibagi untuk semua orang di endpoint itu. Permintaan judul juga dihitung. Kunci user_provided menyebarkan beban. Lihat panduan error dan percobaan ulang.
  • Kunci paket. Sesi paket unlimited menjalankan satu permintaan per waktu dan tidak bisa dibagi, jadi tidak cocok untuk LibreChat multi-pengguna.

Pertanyaan umum

Kenapa endpoint BroadNet saya tidak muncul di LibreChat?

LibreChat membuang custom endpoint tanpa error atau baris log jika name, baseURL, apiKey, atau models.default hilang atau salah ketik. Jika memakai Docker, periksa juga bahwa librechat.yaml sudah di-mount di /app/librechat.yaml dan Anda sudah melakukan restart.

Bisakah setiap pengguna memakai kunci BroadNet masing-masing?

Bisa. Atur apiKey ke user_provided. LibreChat lalu meminta kunci dari setiap pengguna saat pertama kali mereka memilih endpoint itu, dan menyimpannya dalam bentuk terenkripsi.

Kenapa LibreChat menampilkan "Missing API Key for BroadNet"?

Variabel yang dirujuk di apiKey belum diatur di .env. Endpoint tetap muncul di selector, dan error baru tampil saat Anda mengirim pesan. Tambahkan variabelnya, lalu restart LibreChat.

Apakah baseURL LibreChat perlu memuat /chat/completions?

Tidak. Secara default LibreChat menambahkan /chat/completions ke baseURL. Pakai https://inference.broadnet.ai/v1. Atur directEndpoint ke true hanya jika URL yang Anda masukkan sudah berupa endpoint completions lengkap.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity