BroadRouter
Mulakan

Tambah BroadNet Inference ke Dify dengan pemalam OpenAI-API-compatible

Dikemas kini

Dalam Dify, pasang pemalam OpenAI-API-compatible daripada Integrations, Model Provider, kemudian klik Add Model. Pilih jenis LLM, masukkan ID model BroadNet seperti broadnet/glm-5.3, kunci BroadNet anda dan API Base URL https://inference.broadnet.ai/v1. Tetapkan Completion mode kepada Chat, saiz konteks sebenar, had output yang memberi ruang untuk penaakulan, dan Tool Call hanya untuk GLM 5.3 atau Qwen3.8 27B.

Dify ialah platform sumber terbuka untuk membina aplikasi dan aliran kerja LLM. Penyedia yang tidak disenaraikan mengikut nama oleh Dify ditambah melalui pemalam penyedia model OpenAI-API-compatible, yang diterbitkan oleh pasukan Dify (langgenius). BroadNet Inference menyediakan chat completions yang standard di https://inference.broadnet.ai/v1, jadi ia serasi. BroadRouter ialah laman web BroadNet sendiri; nama medan di bawah diambil daripada versi 0.0.83 pemalam itu.

Persediaan

  1. Dapatkan kunci. Cipta kunci bayar ikut guna dalam konsol BroadNet.

  2. Pasang pemalam. Dalam Dify, pergi ke Integrations > Model Provider, cari OpenAI-API-compatible di bawah penyedia yang boleh dipasang (atau bukanya di Marketplace), dan pasang. Anda perlu menjadi pemilik atau pentadbir ruang kerja.

  3. Tambah model. Klik Add Model pada kad penyedia dan isikan:

    Medan Nilai
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key kunci BroadNet anda
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Simpan. Dify menyemak kelayakan sebelum menambah model.

  5. Uji. Cipta aplikasi Chatbot, pilih GLM 5.3 (BroadNet) dalam pemilih model dan hantar mesej dalam anak tetingkap pratonton.

Ulang Add Model bagi setiap model BroadNet yang anda mahu. Nama model mesti sepadan tepat dengan ID BroadNet, termasuk awalan broadnet/.

Nilai bagi setiap model

Model Name Saiz konteks Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (belum diuji) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Sebab pilihan ini:

  • Context size lalai kepada 4,096 dalam pemalam. Jika dibiarkan, Dify memangkas memori dan konteks yang diambil jauh di bawah apa yang diterima oleh model.
  • Upper bound for max tokens juga lalai kepada 4,096. Tiga daripada model ini membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam had ini, jadi beri ruang. 16,000 ialah cadangan kami, bukan had BroadNet.
  • Token parameter name yang ditetapkan kepada max_tokens sepadan dengan medan dalam rujukan API BroadNet. Lalai pemalam ialah meneka berdasarkan nama model.
  • API Type kekal pada Chat Completions. BroadNet tidak menyenaraikan Responses API.

Transkripsi

Pemalam ini juga boleh menambah model speech-to-text. BroadNet menyediakan /v1/audio/transcriptions dengan broadnet/cohere-transcribe-arabic untuk bahasa Arab dan broadnet/cohere-transcribe untuk 14 bahasa. README pemalam menyatakan bahawa untuk speech-to-text ia menambah laluan versi sendiri, jadi contohnya menggunakan hos tanpa /v1 (di sini, https://inference.broadnet.ai). Kami belum menguji laluan ini melalui Dify; semak dahulu dengan fail WAV yang pendek. Lihat panduan speech-to-text bahasa Arab.

Penyelesaian masalah

  • Semakan kelayakan gagal. Semak kunci, API Base URL (berakhir dengan /v1 untuk LLM) dan nama model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Balasan kosong dalam aliran kerja. Max tokens nod LLM terlalu rendah untuk model penaakulan. Naikkannya. Mengapa jawapan kosong.
  • Nod Agent tidak pernah memanggil tools. Gunakan GLM 5.3 atau Qwen3.8 27B dengan Function Call Type ditetapkan kepada Tool Call.
  • 429 di bawah beban. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Cabang selari dan nod lelaran boleh melebihinya; kurangkan keselariannya. Lihat ralat dan cuba semula.

Soalan lazim

Adakah BroadNet berfungsi pada Dify Cloud dan juga Dify yang dihoskan sendiri?

Ya. BroadNet Inference ialah endpoint HTTPS awam, jadi Dify Cloud boleh mencapainya. Dokumentasi Dify menyatakan hanya pemilik dan pentadbir ruang kerja boleh mengurus penyedia model, dan kunci yang anda tambah berfungsi di seluruh ruang kerja.

Patutkah API Base URL mengandungi /v1?

Ya, untuk model LLM. Contoh pemalam itu sendiri menggunakan base URL yang berakhir dengan /v1 untuk model chat, dan README-nya memberi amaran bahawa bagi sesetengah jenis model lain, ia menambah laluan versi sendiri.

Function Call Type manakah yang patut saya pilih?

Tool Call untuk GLM 5.3 dan Qwen3.8 27B, yang disenaraikan oleh BroadNet dengan tools. Pilih Not Support untuk DeepSeek V4.1 Flash melainkan anda sendiri telah menguji panggilan alatan padanya.

Adakah kredit AI Dify terpakai pada model BroadNet?

Tidak. Dokumentasi Dify menyatakan kredit AI tidak terpakai pada penyedia yang anda jalankan dengan akaun anda sendiri. BroadNet mengebil kunci yang anda masukkan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity