BroadRouter

Guna CrewAI dengan BroadNet Inference sebagai endpoint OpenAI tersuai

Dikemas kini

Cipta model dengan kelas LLM crewai: model ditetapkan kepada ID BroadNet seperti broadnet/glm-5.3, custom_openai=True, base_url kepada https://inference.broadnet.ai/v1 dan api_key kepada kunci BroadNet anda. Kemudian berikan LLM itu kepada setiap Agent. CrewAI menggunakan klien OpenAI aslinya dan chat completions, jadi LiteLLM tidak perlu dipasang.

CrewAI ialah rangka kerja Python untuk pasukan ejen. Dokumentasinya menunjukkan corak endpoint serasi OpenAI tersuai: LLM dengan custom_openai=True dan base_url. BroadNet Inference menyediakan chat completions yang standard di https://inference.broadnet.ai/v1, jadi ia boleh dipasang di situ. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi dan kod sumber CrewAI setakat versi 1.15.41.

Pasang

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Sambung

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Jika llm.call mencetak jawapan, kunci, URL dan ID model anda betul.

Cara CrewAI menghalakan permintaan

Kod sumber CrewAI menetapkan susunan: custom_openai=True didahulukan dan memaksa penyedia OpenAI asli, mengatasi apa sahaja yang dibayangkan oleh nama model. Ia juga menimbulkan ralat melainkan endpoint tersuai ditetapkan melalui base_url, api_base, OPENAI_BASE_URL atau OPENAI_API_BASE. Rentetan model dihantar seperti yang ditulis, jadi broadnet/glm-5.3 sampai ke BroadNet tanpa diubah.

Tanpa custom_openai, nama seperti broadnet/glm-5.3 akan dibaca sebagai penyedia broadnet, yang tidak dikenali oleh CrewAI, lalu jatuh kembali kepada LiteLLM. Alternatif yang didokumenkan ialah model="openai/broadnet/glm-5.3" dengan base_url: CrewAI membuang awalan openai/ dan menghantar selebihnya.

Dua perkara lagi daripada kod dan dokumentasi CrewAI:

  • Medan had token. Apabila anda menghantar max_tokens, klien asli menghantar max_tokens pada chat completions, iaitu medan yang diterangkan dalam rujukan API BroadNet. Jika anda menghantar max_completion_tokens, medan itu yang dihantar.
  • Kekal pada chat completions. Dokumentasi CrewAI menunjukkan api="responses" untuk bertukar ke Responses API. Jangan tetapkannya; BroadNet tidak menyenaraikan API itu.

Model mana untuk ejen mana

Ejen Model Sebab
Ejen dengan tools broadnet/glm-5.3 BroadNet menyenaraikan tools dan output berstruktur; konteks 1M
Input imej atau bahasa Arab, dengan tools broadnet/qwen3.8-27b Tools serta imej; konteks 262K
Tugas membaca yang panjang, pelan kadar tetap broadnet/deepseek-v4.1-flash Pelan tanpa had; tools tidak disenaraikan oleh BroadNet

Satu crew boleh mencampurkannya: beri setiap Agent LLM tersendiri.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh atau kehabisan elaun. Jika anda tidak menghantar api_key, CrewAI membaca OPENAI_API_KEY, yang mungkin menyimpan kunci OpenAI.
  • “custom_openai=True requires base_url”. Hantar base_url, atau tetapkan OPENAI_BASE_URL.
  • Model tidak dijumpai. Pastikan ID sepadan tepat dengan ID BroadNet. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • EmptyLLMResponseError. CrewAI mencuba semula jawapan kosong sekali, kemudian menimbulkan ralat ini. Naikkan max_tokens. Mengapa jawapan kosong.
  • 429 dengan beberapa ejen. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak, dan satu sesi pelan menjalankan satu permintaan pada satu masa. Lihat ralat dan cuba semula.

Soalan lazim

Apakah fungsi custom_openai=True dalam CrewAI?

Kod sumber CrewAI menyatakan ia memaksa penyedia OpenAI asli tanpa mengira rupa nama model, dan ia memerlukan base_url, api_base, OPENAI_BASE_URL atau OPENAI_API_BASE. Rentetan model dihantar seperti yang ditulis, jadi broadnet/glm-5.3 sampai ke BroadNet tanpa diubah.

Bolehkah saya menulis model="openai/broadnet/glm-5.3" sebaliknya?

Boleh. Dengan base_url tersuai, CrewAI menghalakan awalan openai/ ke klien OpenAI aslinya dan membuang awalan itu, jadi BroadNet menerima broadnet/glm-5.3. custom_openai=True ialah bentuk yang lebih jelas.

Mengapakah crew saya gagal dengan EmptyLLMResponseError?

CrewAI mencuba semula jawapan kosong, iaitu jawapan tanpa kandungan dan tanpa panggilan alatan, sekali, dan menimbulkan ralat ini jika cubaan semula itu juga kosong. Pada model penaakulan BroadNet, ini biasanya bermakna penaakulan telah menghabiskan bajet output. Naikkan max_tokens.

Model BroadNet manakah yang patut digunakan oleh ejen CrewAI?

GLM 5.3 untuk ejen dengan tools, kerana BroadNet menyenaraikan tools dan output berstruktur untuknya. Qwen3.8 27B juga mempunyai tools dan menerima imej.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity