BroadRouter

CrewAI dengan BroadNet Inference sebagai endpoint OpenAI kustom

Diperbarui

Buat model dengan kelas LLM dari crewai: isi model dengan ID BroadNet seperti broadnet/glm-5.3, custom_openai=True, base_url https://inference.broadnet.ai/v1, dan api_key berisi kunci BroadNet Anda. Lalu berikan LLM itu ke setiap Agent. CrewAI memakai klien OpenAI native dan chat completions, jadi tidak perlu menginstal LiteLLM.

CrewAI adalah framework Python untuk tim agen. Dokumentasinya menunjukkan pola endpoint kustom yang kompatibel dengan OpenAI: sebuah LLM dengan custom_openai=True dan base_url. BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1, jadi bisa langsung dipasang di situ. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi dan kode sumber CrewAI versi 1.15.41.

Instalasi

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Menghubungkan

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Jika llm.call mencetak jawaban, berarti kunci, URL, dan ID model sudah benar.

Cara CrewAI meneruskan permintaan

Kode sumber CrewAI menetapkan urutan: custom_openai=True diperiksa paling awal dan memaksa provider OpenAI native, mengalahkan apa pun yang tersirat dari nama model. Opsi ini juga memunculkan error kecuali endpoint kustom diatur lewat base_url, api_base, OPENAI_BASE_URL, atau OPENAI_API_BASE. String model dikirim apa adanya, jadi broadnet/glm-5.3 sampai ke BroadNet tanpa diubah.

Tanpa custom_openai, nama seperti broadnet/glm-5.3 akan dibaca sebagai provider broadnet, yang tidak dikenal CrewAI, lalu jatuh ke LiteLLM. Alternatif yang didokumentasikan adalah model="openai/broadnet/glm-5.3" dengan base_url: CrewAI membuang prefiks openai/ dan mengirim sisanya.

Dua hal lagi dari kode dan dokumentasi CrewAI:

  • Field batas token. Jika Anda mengirim max_tokens, klien native mengirim max_tokens pada chat completions, yaitu field yang dijelaskan di referensi API BroadNet. Jika Anda mengirim max_completion_tokens, field itulah yang dikirim.
  • Tetap di chat completions. Dokumentasi CrewAI menunjukkan api="responses" untuk beralih ke Responses API. Jangan atur itu; BroadNet tidak mencantumkan API tersebut.

Model mana untuk agen mana

Agen Model Alasan
Agen yang memakai tools broadnet/glm-5.3 BroadNet mencantumkan tools dan output terstruktur; konteks 1M
Input gambar atau bahasa Arab, dengan tools broadnet/qwen3.8-27b Tools plus gambar; konteks 262K
Tugas membaca panjang, paket harga tetap broadnet/deepseek-v4.1-flash Paket unlimited; tools tidak dicantumkan oleh BroadNet

Satu crew bisa mencampurnya: beri setiap Agent LLM-nya sendiri.

Pemecahan masalah

  • 401. Kunci salah, kedaluwarsa, atau jatahnya habis. Jika Anda tidak mengisi api_key, CrewAI membaca OPENAI_API_KEY, yang mungkin berisi kunci OpenAI.
  • “custom_openai=True requires base_url”. Isi base_url, atau atur OPENAI_BASE_URL.
  • Model tidak ditemukan. Pastikan ID sama persis dengan milik BroadNet. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • EmptyLLMResponseError. CrewAI mencoba ulang jawaban kosong satu kali, lalu memunculkan error ini. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • 429 dengan beberapa agen. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, sedangkan satu sesi paket menjalankan satu permintaan dalam satu waktu. Lihat panduan error dan percobaan ulang.

Pertanyaan umum

Apa fungsi custom_openai=True di CrewAI?

Menurut kode sumber CrewAI, opsi ini memaksa provider OpenAI native apa pun bentuk nama modelnya, dan mewajibkan base_url, api_base, OPENAI_BASE_URL, atau OPENAI_API_BASE. String model dikirim apa adanya, jadi broadnet/glm-5.3 sampai ke BroadNet tanpa diubah.

Bisakah saya menulis model="openai/broadnet/glm-5.3" saja?

Bisa. Dengan base_url kustom, CrewAI mengarahkan prefiks openai/ ke klien OpenAI native-nya dan membuang prefiks itu, sehingga BroadNet menerima broadnet/glm-5.3. Namun custom_openai=True adalah bentuk yang lebih jelas.

Kenapa crew saya gagal dengan EmptyLLMResponseError?

CrewAI mencoba ulang satu kali jawaban kosong, yaitu jawaban tanpa konten dan tanpa tool call, lalu memunculkan error ini jika hasil percobaan ulang juga kosong. Pada model penalaran BroadNet, ini biasanya berarti penalaran menghabiskan anggaran output. Naikkan max_tokens.

Model BroadNet mana yang sebaiknya dipakai agen CrewAI?

GLM 5.3 untuk agen yang memakai tools, karena BroadNet mencantumkan tools dan output terstruktur untuknya. Qwen3.8 27B juga mendukung tools dan menerima gambar.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity