ChatOpenAI LangChain menerima sebarang endpoint melalui base_url. Ini berfungsi dengan BroadNet Inference kerana ia menggunakan bentuk chat completions yang standard. Jika anda memanggil API secara terus, lihat panduan Python SDK.
Pasang
Keluaran langchain-openai semasa (1.x) memerlukan Python 3.11 atau lebih baharu.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Sambung
Dalam contoh di bawah, max_tokens ditetapkan kepada 2000; komen dalam kod mengingatkan bahawa penaakulan dikira dalam had ini.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base ialah alias bagi base_url. Tanpa kedua-duanya, LangChain membaca OPENAI_API_BASE, dan kemudian klien openai di bawahnya membaca OPENAI_BASE_URL.
Perkara yang perlu diketahui
- Teks penaakulan tidak disimpan. Dokumentasi LangChain menyatakan
ChatOpenAImengikut spesifikasi rasmi OpenAI dan tidak menyimpan medan bukan standard sepertireasoning_content. Anda mendapat jawapan akhir, yang biasanya memang diperlukan oleh rantaian. - Berikan ruang untuk penaakulan. GLM 5.3, DeepSeek V4.1 Flash dan Qwen3.8 27B membuat penaakulan dahulu.
max_tokensyang kecil boleh memulangkan jawapan kosong. Mengapa jawapan kosong. - Usage semasa penstriman. Apabila anda mengkonfigurasi endpoint dengan
OPENAI_BASE_URL, LangChain mematikanstream_usagesecara lalai. Hantarstream_usage=Truejika anda mahukan bilangan token semasa penstriman. Dokumentasi BroadNet menyatakan usage tiba dalam chunk terakhir apabila ia diminta. - Kekal dengan chat completions. BroadNet menyediakan
/v1/chat/completions, bukan Responses API. Dokumentasi LangChain menyatakanChatOpenAIbertukar kepada Responses API apabila anda menggunakan alatan terbina dalam OpenAI (web search, file search, code interpreter dan seumpamanya), keadaan perbualan (conversation state), atau parameterreasoning. Jangan gunakan semua itu, dan jangan tetapkanuse_responses_api=True. - Nama had token. Dokumentasi LangChain menyatakan
max_tokensditukar kepadamax_completion_tokenssecara dalaman. Dokumentasi BroadNet menerangkanmax_tokens. Jika had seolah-olah diabaikan, semak permintaan yang dihantar oleh aplikasi anda.
Model mana untuk rantaian mana
| Rantaian | Model |
|---|---|
| Tool calling dan output berstruktur | broadnet/glm-5.3 |
| Dokumen panjang dan ejen, pelan tanpa had | broadnet/deepseek-v4.1-flash |
| Teks atau imej bahasa Arab | broadnet/qwen3.8-27b |
Penyelesaian masalah
- 401. Kunci salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Jika anda tidak menghantar
api_key, LangChain menggunakanOPENAI_API_KEY, yang mungkin menyimpan kunci OpenAI. - 404 atau “not found”. Pastikan
base_urlberakhir dengan/v1dan tiada apa-apa yang menghalakan panggilan ke Responses API (lihat di atas). Kemudian pastikan ID model sepadan tepat dengan ID BroadNet, termasuk awalanbroadnet/. Model berbayar memerlukan tambah nilai; kredit $5 meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. contentkosong. Penaakulan telah menggunakan bajet. Naikkanmax_tokens. Mengapa jawapan kosong.- Panggilan alatan tidak pernah berlaku. Gunakan
broadnet/glm-5.3ataubroadnet/qwen3.8-27b. Dokumentasi BroadNet menyenaraikan tools untuk dua model itu sahaja. - 429 dalam rantaian batch atau selari. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Tetapkan
max_concurrencydalam konfigurasi runnable untukbatch(). Lihat kod ralat dan cuba semula.
