ChatOpenAI của LangChain nhận bất kỳ endpoint nào qua base_url. Cách này chạy được với BroadNet Inference vì BroadNet dùng cấu trúc chat completions chuẩn. Nếu bạn gọi API trực tiếp, hãy xem hướng dẫn Python SDK.
Cài đặt
Các bản langchain-openai hiện tại (1.x) cần Python 3.11 trở lên.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Kết nối
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
Như chú thích trong code, token suy luận cũng được tính vào giới hạn max_tokens.
openai_api_base là alias của base_url. Nếu không có cả hai, LangChain đọc OPENAI_API_BASE, rồi client openai bên dưới đọc OPENAI_BASE_URL.
Những điều cần biết
- Văn bản suy luận không được giữ lại. Tài liệu LangChain cho biết
ChatOpenAItuân theo đặc tả chính thức của OpenAI và không giữ các trường không chuẩn nhưreasoning_content. Bạn nhận được câu trả lời cuối cùng, và thường đó là thứ một chain cần. - Chừa chỗ cho suy luận. GLM 5.3, DeepSeek V4.1 Flash và Qwen3.8 27B suy luận trước.
max_tokensnhỏ có thể khiến câu trả lời rỗng. Vì sao câu trả lời trả về rỗng. - Usage khi streaming. Khi bạn cấu hình endpoint bằng
OPENAI_BASE_URL, LangChain mặc định tắtstream_usage. Truyềnstream_usage=Truenếu muốn có số token khi streaming. Tài liệu BroadNet cho biết usage nằm trong chunk cuối nếu request yêu cầu. - Chỉ dùng chat completions. BroadNet phục vụ
/v1/chat/completions, không có Responses API. Tài liệu LangChain cho biếtChatOpenAIchuyển sang Responses API khi bạn dùng tool có sẵn của OpenAI (web search, file search, code interpreter và tương tự), trạng thái hội thoại, hoặc tham sốreasoning. Hãy bỏ những thứ đó, và đừng đặtuse_responses_api=True. - Tên tham số giới hạn token. Tài liệu LangChain cho biết
max_tokensđược chuyển nội bộ thànhmax_completion_tokens. Tài liệu BroadNet mô tảmax_tokens. Nếu giới hạn có vẻ bị bỏ qua, hãy kiểm tra request mà ứng dụng thực sự gửi đi.
Model nào cho chain nào
| Chain | Model |
|---|---|
| Gọi tool và đầu ra có cấu trúc | broadnet/glm-5.3 |
| Tài liệu dài và agent, gói không giới hạn | broadnet/deepseek-v4.1-flash |
| Văn bản tiếng Ả Rập hoặc hình ảnh | broadnet/qwen3.8-27b |
Xử lý sự cố
- 401. Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu bạn không truyền
api_key, LangChain đã dùngOPENAI_API_KEY, biến này có thể đang chứa key OpenAI. - 404 hoặc “not found”. Kiểm tra
base_urlkết thúc bằng/v1và không có gì chuyển lệnh gọi sang Responses API (xem ở trên). Sau đó kiểm tra model ID khớp chính xác với ID của BroadNet, kể cả tiền tốbroadnet/. Model trả phí cần nạp tiền; $5 tín dụng ban đầu dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. contentrỗng. Phần suy luận đã dùng hết ngân sách. Hãy tăngmax_tokens. Vì sao câu trả lời trả về rỗng.- Tool không bao giờ được gọi. Hãy dùng
broadnet/glm-5.3hoặcbroadnet/qwen3.8-27b. Tài liệu BroadNet chỉ ghi hỗ trợ tool cho hai model này. - 429 trong chain chạy batch hoặc song song. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Với
batch(), hãy đặtmax_concurrencytrong runnable config. Xem mã lỗi và thử lại.
