BroadRouter

Cara guna LangChain dengan BroadNet Inference

Dikemas kini

Pasang langchain-openai dan cipta ChatOpenAI dengan base_url ditetapkan kepada https://inference.broadnet.ai/v1, api_key kepada kunci BroadNet anda, dan ID model BroadNet seperti broadnet/glm-5.3. Rantaian invoke, stream dan tool calling kemudian berjalan melalui chat completions. Elakkan ciri yang hanya ada dalam Responses API, dan berikan ruang max_tokens untuk penaakulan.

ChatOpenAI LangChain menerima sebarang endpoint melalui base_url. Ini berfungsi dengan BroadNet Inference kerana ia menggunakan bentuk chat completions yang standard. Jika anda memanggil API secara terus, lihat panduan Python SDK.

Pasang

Keluaran langchain-openai semasa (1.x) memerlukan Python 3.11 atau lebih baharu.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Sambung

Dalam contoh di bawah, max_tokens ditetapkan kepada 2000; komen dalam kod mengingatkan bahawa penaakulan dikira dalam had ini.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base ialah alias bagi base_url. Tanpa kedua-duanya, LangChain membaca OPENAI_API_BASE, dan kemudian klien openai di bawahnya membaca OPENAI_BASE_URL.

Perkara yang perlu diketahui

  • Teks penaakulan tidak disimpan. Dokumentasi LangChain menyatakan ChatOpenAI mengikut spesifikasi rasmi OpenAI dan tidak menyimpan medan bukan standard seperti reasoning_content. Anda mendapat jawapan akhir, yang biasanya memang diperlukan oleh rantaian.
  • Berikan ruang untuk penaakulan. GLM 5.3, DeepSeek V4.1 Flash dan Qwen3.8 27B membuat penaakulan dahulu. max_tokens yang kecil boleh memulangkan jawapan kosong. Mengapa jawapan kosong.
  • Usage semasa penstriman. Apabila anda mengkonfigurasi endpoint dengan OPENAI_BASE_URL, LangChain mematikan stream_usage secara lalai. Hantar stream_usage=True jika anda mahukan bilangan token semasa penstriman. Dokumentasi BroadNet menyatakan usage tiba dalam chunk terakhir apabila ia diminta.
  • Kekal dengan chat completions. BroadNet menyediakan /v1/chat/completions, bukan Responses API. Dokumentasi LangChain menyatakan ChatOpenAI bertukar kepada Responses API apabila anda menggunakan alatan terbina dalam OpenAI (web search, file search, code interpreter dan seumpamanya), keadaan perbualan (conversation state), atau parameter reasoning. Jangan gunakan semua itu, dan jangan tetapkan use_responses_api=True.
  • Nama had token. Dokumentasi LangChain menyatakan max_tokens ditukar kepada max_completion_tokens secara dalaman. Dokumentasi BroadNet menerangkan max_tokens. Jika had seolah-olah diabaikan, semak permintaan yang dihantar oleh aplikasi anda.

Model mana untuk rantaian mana

Rantaian Model
Tool calling dan output berstruktur broadnet/glm-5.3
Dokumen panjang dan ejen, pelan tanpa had broadnet/deepseek-v4.1-flash
Teks atau imej bahasa Arab broadnet/qwen3.8-27b

Lihat harga setiap model.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Jika anda tidak menghantar api_key, LangChain menggunakan OPENAI_API_KEY, yang mungkin menyimpan kunci OpenAI.
  • 404 atau “not found”. Pastikan base_url berakhir dengan /v1 dan tiada apa-apa yang menghalakan panggilan ke Responses API (lihat di atas). Kemudian pastikan ID model sepadan tepat dengan ID BroadNet, termasuk awalan broadnet/. Model berbayar memerlukan tambah nilai; kredit $5 meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • content kosong. Penaakulan telah menggunakan bajet. Naikkan max_tokens. Mengapa jawapan kosong.
  • Panggilan alatan tidak pernah berlaku. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b. Dokumentasi BroadNet menyenaraikan tools untuk dua model itu sahaja.
  • 429 dalam rantaian batch atau selari. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Tetapkan max_concurrency dalam konfigurasi runnable untuk batch(). Lihat kod ralat dan cuba semula.

Soalan lazim

Patutkah saya menggunakan base_url atau openai_api_base dalam ChatOpenAI?

Kedua-duanya boleh. openai_api_base ialah alias bagi base_url. Jika kedua-duanya tidak dihantar, LangChain menyemak OPENAI_API_BASE, kemudian klien openai membaca OPENAI_BASE_URL.

Bolehkah saya menetapkan endpoint BroadNet dengan pembolehubah persekitaran sahaja?

Boleh. Tetapkan OPENAI_BASE_URL kepada https://inference.broadnet.ai/v1 dan OPENAI_API_KEY kepada kunci BroadNet anda, kemudian cipta ChatOpenAI dengan ID model sahaja. Hantar stream_usage=True jika anda mahukan bilangan token semasa penstriman.

Mengapakah LangChain membuang reasoning_content daripada respons BroadNet?

Dokumentasi LangChain menyatakan ChatOpenAI mengikut spesifikasi rasmi OpenAI dan tidak mengekstrak medan bukan standard seperti reasoning_content. Anda masih mendapat jawapan akhir dalam content.

Adakah ChatOpenAI dengan BroadNet menyokong tool calling?

Ya, melalui bind_tools, pada model yang disenaraikan oleh BroadNet dengan tools. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tool calling dan with_structured_output.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity