---
title: "LlamaIndex OpenAILike với api_base tùy chỉnh | BroadRouter"
description: "Kết nối LlamaIndex với BroadNet Inference bằng lớp OpenAILike, đặt đúng api_base, context_window, is_chat_model và is_function_calling_model cho từng model."
url: https://broadrouter.com/vi/guides/llamaindex-openailike/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/llamaindex-openailike/) (cập nhật ngày 2026-11-16).

# Dùng LlamaIndex với BroadNet Inference qua OpenAILike

Cập nhật 2026-11-16

Cài llama-index-llms-openai-like và tạo OpenAILike với model là một ID BroadNet như broadnet/glm-5.3, api\_base là https://inference.broadnet.ai/v1, key BroadNet của bạn, context\_window bằng context thật của model, is\_chat\_model=True, và is\_function\_calling\_model=True chỉ cho GLM 5.3 hoặc Qwen3.8 27B. Gán nó cho Settings.llm để dùng ở mọi nơi.

LlamaIndex là framework Python cho RAG và agent. Với mọi API tương thích OpenAI không phải chính OpenAI, nó cung cấp lớp `OpenAILike`. BroadNet Inference phục vụ chat completions chuẩn tại `https://inference.broadnet.ai/v1`. BroadRouter là trang web của chính BroadNet; hướng dẫn này dựa trên tài liệu tham chiếu API LlamaIndex cho `llama-index-llms-openai-like` 0.9.0.

## Cài đặt

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Kết nối và chạy thử

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Có câu trả lời được in ra nghĩa là key, URL và model ID đều đúng.

## Bốn cài đặt quan trọng

| Tham số | Đặt thành | Mặc định nếu không đặt |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, tức dùng endpoint completions cũ; BroadNet phục vụ chat completions |
| `context_window` | Context thật của model | 3.900 token |
| `is_function_calling_model` | `True` chỉ cho GLM 5.3 hoặc Qwen3.8 27B | `False` |
| `max_tokens` | 1.000 trở lên | None (không gửi đi, nên server tự quyết định) |

`is_chat_model` quan trọng nhất. Tài liệu tham chiếu API viết rằng nó “controls whether the model uses the chat or completion endpoint” (Bản dịch: quyết định model dùng endpoint chat hay completion), và mặc định là false. Tài liệu BroadNet liệt kê `/v1/chat/completions`, không có endpoint completions cũ.

## Dùng trên toàn ứng dụng

```python
from llama_index.core import Settings

Settings.llm = llm
```

Khi đó query engine, chat engine và agent đều dùng BroadNet. Embedding là chuyện riêng: tài liệu tham chiếu API của BroadNet không liệt kê endpoint embedding, nên hãy giữ một model embedding khác để đánh index.

## Context window

| Model | ID | `context_window` | Tool |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Có |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Không ghi |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Có |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Không ghi |

Context 1 triệu token cho phép query engine truyền nhiều chunk truy xuất hơn hẳn trong mỗi lệnh gọi. Điều đó không phải lúc nào cũng tốt hơn; xem [context dài hay RAG](https://broadrouter.com/vi/blog/long-context-vs-rag/).

## Xử lý sự cố

-   **401.** Key sai, đã hết hạn hoặc hết hạn mức.
-   **404.** `api_base` phải kết thúc bằng `/v1`, và `is_chat_model` phải là `True`. Sau đó kiểm tra model ID. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **Câu trả lời rỗng.** Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng `max_tokens`. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **Agent không bao giờ gọi tool.** Đặt `is_function_calling_model=True` và dùng `broadnet/glm-5.3` hoặc `broadnet/qwen3.8-27b`.
-   **429 khi nạp dữ liệu (ingestion) hoặc chạy truy vấn hàng loạt.** Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. OpenAILike mặc định thử lại 3 lần (`max_retries`). Xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Context window (cửa sổ ngữ cảnh)](https://broadrouter.com/vi/glossary/context-window/)

Context window là số token tối đa mà model ngôn ngữ xử lý được trong một request. Nó bao gồm prompt, lịch sử hội thoại, định nghĩa tool, hình ảnh và đầu ra được sinh ra, kể cả token suy luận. Phần không vừa phải được cắt bớt, tóm tắt hoặc chia ra nhiều request.

[Embedding (vector nhúng)](https://broadrouter.com/vi/glossary/embeddings/)

Embedding là danh sách số thực (vector) mà một model tạo ra để biểu diễn đoạn văn bản, hình ảnh hay đầu vào khác. Đầu vào có nghĩa tương tự nhận vector gần nhau, nên khoảng cách giữa vector dùng được để xếp hạng kết quả tìm kiếm, gom cụm tài liệu hoặc tìm mục liên quan.

## Câu hỏi thường gặp

### Sao không dùng lớp OpenAI của LlamaIndex với api\_base khác?

Chính trang OpenAI của LlamaIndex hướng dẫn dùng tích hợp OpenAILike cho mọi API tương thích OpenAI không phải API chính thức của OpenAI. OpenAILike cũng cho bạn tự khai báo context window và khả năng hỗ trợ tool.

### Điều gì xảy ra nếu tôi bỏ qua context\_window?

OpenAILike mặc định 3.900 token, nên LlamaIndex cắt prompt và các chunk truy xuất xuống thấp hơn rất nhiều so với mức model BroadNet nhận được. Đặt 1048576 cho GLM 5.3 và DeepSeek V4.1 Flash, hoặc 262144 cho Qwen3.8 27B.

### FunctionAgent của LlamaIndex có dùng được BroadNet không?

Được, với is\_function\_calling\_model=True trên một model BroadNet ghi hỗ trợ tool là GLM 5.3 hoặc Qwen3.8 27B. Để False cho DeepSeek V4.1 Flash, vì tài liệu BroadNet không ghi khả năng gọi tool cho model này.

### BroadNet có cung cấp embedding cho index LlamaIndex không?

Tài liệu tham chiếu API của BroadNet liệt kê chat completions và chép lời âm thanh, không có embedding. Hãy dùng một model embedding riêng cho index và dùng BroadNet làm LLM.

## Hướng dẫn liên quan

-   [Dùng LangChain với BroadNet Inference](https://broadrouter.com/vi/guides/langchain-openai-base-url/)
-   [Dùng Pydantic AI với BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/vi/guides/pydantic-ai-openai-compatible/)
-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-llamaindex-openailike&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API LlamaIndex, OpenAILike (kiểm tra ngày 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [Tài liệu LlamaIndex, ví dụ OpenAILike (trang tích hợp Grok) (kiểm tra ngày 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [Tài liệu LlamaIndex, trang OpenAI LLM (hướng API tương thích sang OpenAILike) (kiểm tra ngày 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11 trở lên (kiểm tra ngày 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Mã nguồn LlamaIndex, giá trị mặc định max\_tokens và payload của OpenAI LLM (kiểm tra ngày 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [Tài liệu tham chiếu API BroadNet Inference (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-llamaindex-openailike&utm_content=sources)
