---
title: "LangGraph với base_url tương thích OpenAI tùy chỉnh | BroadRouter"
description: "Chạy StateGraph hoặc create_agent của LangGraph trên BroadNet Inference bằng ChatOpenAI, base_url và model ID BroadNet, kèm tool, streaming và bộ nhớ hội thoại."
url: https://broadrouter.com/vi/guides/langgraph-openai-compatible/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/langgraph-openai-compatible/) (cập nhật ngày 2026-11-16).

# Xây agent LangGraph trên BroadNet Inference

Cập nhật 2026-11-16

Cài langgraph và langchain-openai, rồi tạo ChatOpenAI với model là một ID BroadNet như broadnet/glm-5.3, base\_url là https://inference.broadnet.ai/v1 và api\_key là key BroadNet của bạn. Bind các tool vào model rồi dùng nó trong một node StateGraph, hoặc truyền nó cho create\_agent của langchain. Hãy dùng GLM 5.3 hoặc Qwen3.8 27B, hai model BroadNet ghi hỗ trợ tool.

LangGraph là thư viện của LangChain để xây agent nhiều bước, có trạng thái, dưới dạng graph. Nó không có model client riêng: các node của bạn gọi một chat model của LangChain. Để chạy graph trên BroadNet Inference, hãy đưa cho nó `ChatOpenAI` từ `langchain-openai` với base URL của BroadNet. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu LangGraph và LangChain ở thời điểm LangGraph 1.2.22 và langchain-openai 1.8.

## Cài đặt

```bash
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
```

## Một graph gọi tool

```python
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
```

Node model gọi BroadNet. `tools_condition` chuyển graph sang node tool khi câu trả lời có lệnh gọi tool, và kết quả tool quay lại model. Checkpointer lưu hội thoại theo từng `thread_id`, nên lần `invoke` thứ hai với cùng config sẽ tiếp tục hội thoại đó.

## Stream token từ graph

```python
for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)
```

Với `stream_mode="messages"`, `ChatOpenAI` gửi `stream: true` tới BroadNet và LangGraph chuyển tiếp từng token.

## Agent dựng sẵn

Nếu không cần graph tùy chỉnh, vòng lặp agent dựng sẵn nhận cùng model đó:

```python
from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
```

`create_react_agent` từ `langgraph.prebuilt` vẫn chạy trong LangGraph 1.2.22, nhưng in cảnh báo rằng nó đã chuyển sang `langchain.agents.create_agent`.

## Chọn model nào

| Graph | Model |
| --- | --- |
| Agent dùng tool, đầu ra có cấu trúc | `broadnet/glm-5.3` (context 1.048.576 token) |
| Tool kèm đầu vào hình ảnh hoặc văn bản tiếng Ả Rập | `broadnet/qwen3.8-27b` (context 262.144 token) |
| Graph không gọi tool, tài liệu dài | `broadnet/deepseek-v4.1-flash` |

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. DeepSeek V4.1 Flash là model của các [gói không giới hạn](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/), nên hợp với các graph tóm tắt rồi định tuyến mà không gọi tool. Hãy thử một vòng lặp tool trên nó trước khi dựa vào. [Giá của mọi model](https://broadrouter.com/vi/pricing/).

## Những cài đặt quan trọng

-   **Giữ nguyên chat completions.** BroadNet phục vụ `/v1/chat/completions`. Tài liệu LangChain cho biết `ChatOpenAI` chuyển sang Responses API khi bạn dùng tool tích hợp sẵn của OpenAI, trạng thái hội thoại hoặc tham số `reasoning`. Hãy bỏ những thứ đó và đừng đặt `use_responses_api=True`.
-   **Giới hạn đầu ra.** Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, phần suy luận được tính vào ngân sách đầu ra. Hãy đặt `max_tokens` của model từ 2.000 trở lên. Trong thử nghiệm của chúng tôi, langchain-openai 1.8 gửi giá trị này dưới dạng `max_completion_tokens`.
-   **Nhánh song song.** Mỗi nhánh gọi model là một request riêng. Một key trả theo mức dùng cho phép 4 request đang xử lý cùng lúc, còn một phiên của gói chạy từng request một.

## Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài langgraph 1.2.22, langchain-openai 1.8.0 và langchain 1.5.0 trong một môi trường ảo sạch. Chúng tôi chạy graph ở trên, vòng lặp streaming và `create_agent` với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet và trả về lệnh gọi tool, rồi kiểm tra các request được ghi lại. Mọi lệnh gọi đều tới `/v1/chat/completions` với model ID `broadnet/glm-5.3` giữ nguyên, Bearer key và schema của tool, và kết quả tool quay lại dưới dạng tin nhắn `tool`. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.

## Xử lý sự cố

-   **401.** Key sai, đã hết hạn hoặc hết hạn mức.
-   **404.** `base_url` phải kết thúc bằng `/v1`. Kiểm tra model ID, kèm tiền tố `broadnet/`. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **Agent không bao giờ gọi tool.** Chuyển sang `broadnet/glm-5.3` hoặc `broadnet/qwen3.8-27b`.
-   **Câu trả lời rỗng.** Ngân sách đầu ra đã dùng hết cho suy luận. Hãy tăng `max_tokens`. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **429.** Một key trả theo mức dùng cho phép 30 request mỗi phút. Thêm `max_retries` vào `ChatOpenAI` và xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Tool calling (gọi tool, function calling)](https://broadrouter.com/vi/glossary/tool-calling/)

Tool calling, còn gọi là function calling, là tính năng của API LLM trong đó model trả về một yêu cầu có cấu trúc để chạy một hàm do nhà phát triển định nghĩa, kèm đối số JSON. Ứng dụng chạy hàm rồi gửi kết quả lại; model không bao giờ tự chạy code.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

## Câu hỏi thường gặp

### LangGraph có cần tích hợp BroadNet riêng không?

Không. LangGraph chạy bất kỳ chat model nào mà các node của bạn gọi. Hãy dùng ChatOpenAI của LangChain với base\_url là https://inference.broadnet.ai/v1, và mọi node gọi model sẽ tới BroadNet qua chat completions.

### Nên dùng create\_react\_agent hay create\_agent?

Trong LangGraph 1.2, create\_react\_agent từ langgraph.prebuilt vẫn chạy nhưng in cảnh báo deprecation, chỉ sang create\_agent trong gói langchain. Cả hai đều chạy được với mock server của chúng tôi khi dùng model ID kiểu BroadNet.

### Agent LangGraph nên dùng model BroadNet nào?

GLM 5.3 (broadnet/glm-5.3) hoặc Qwen3.8 27B (broadnet/qwen3.8-27b). Vòng lặp agent phụ thuộc vào việc gọi tool, và BroadNet chỉ ghi hỗ trợ tool cho hai model này.

### Vì sao max\_tokens tôi đặt lại được gửi dưới dạng max\_completion\_tokens?

langchain-openai 1.8 đổi tên max\_tokens thành max\_completion\_tokens trong request. Tài liệu tham chiếu API của BroadNet mô tả max\_tokens. Nếu giới hạn đầu ra có vẻ bị bỏ qua, hãy kiểm tra request mà ứng dụng thực sự gửi đi.

## Hướng dẫn liên quan

-   [Dùng LangChain với BroadNet Inference](https://broadrouter.com/vi/guides/langchain-openai-base-url/)
-   [Chạy OpenAI Agents SDK trên BroadNet Inference](https://broadrouter.com/vi/guides/openai-agents-sdk-custom-provider/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-langgraph-openai-compatible&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu LangGraph, Quickstart và Graph API (kiểm tra ngày 2026-11-15)](https://docs.langchain.com/oss/python/langgraph/graph-api)
-   [Tài liệu LangChain, tích hợp ChatOpenAI (kiểm tra ngày 2026-11-15)](https://docs.langchain.com/oss/python/integrations/chat/openai)
-   [PyPI, langgraph 1.2.22 (kiểm tra ngày 2026-11-15)](https://pypi.org/project/langgraph/)
-   [Tài liệu tham chiếu API BroadNet Inference (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-langgraph-openai-compatible&utm_content=sources)
