LlamaIndex — Python-фреймворк для RAG и агентов. Для любого OpenAI-совместимого API, кроме самого OpenAI, в нём есть класс OpenAILike. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1. BroadRouter — собственный сайт BroadNet; руководство основано на справочнике API LlamaIndex для llama-index-llms-openai-like 0.9.0.
Установка
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Подключение и проверка
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Если ответ напечатался, ключ, URL и ID модели работают. Комментарий в коде напоминает, что рассуждения учитываются в лимите max_tokens.
Четыре важные настройки
| Параметр | Значение | По умолчанию, если не задать |
|---|---|---|
is_chat_model |
True |
False — используется устаревший эндпоинт completions, а BroadNet обслуживает chat completions |
context_window |
Реальный контекст модели | 3 900 токенов |
is_function_calling_model |
True только для GLM 5.3 или Qwen3.8 27B |
False |
max_tokens |
1 000 или больше | None (не отправляется, поэтому решает сервер) |
Важнее всего is_chat_model. В справочнике API сказано, что он “controls whether the model uses the chat or completion endpoint” (перевод: «определяет, использует ли модель эндпоинт chat или completion»), и по умолчанию он равен false. Документация BroadNet указывает /v1/chat/completions, а не старый эндпоинт completions.
Использование во всём приложении
from llama_index.core import Settings
Settings.llm = llm
После этого query engines, chat engines и агенты используют BroadNet. Эмбеддинги — отдельная история: справочник API BroadNet не указывает эндпоинт эмбеддингов, так что для индексации оставьте другую модель эмбеддингов.
Окна контекста
| Модель | ID | context_window |
Инструменты |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Да |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Не указаны |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Да |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Не указаны |
С контекстом в 1M токенов query engine может передавать за один вызов намного больше найденных фрагментов. Это не всегда лучше; см. длинный контекст или RAG.
Решение проблем
- 401. Ключ неверный, истёк или исчерпал лимит.
- 404.
api_baseдолжен заканчиваться на/v1, аis_chat_modelдолжен бытьTrue. Затем проверьте ID модели. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает толькоbroadnet/gemma-4-26b-a4b. - Пустые ответы. Рассуждения израсходовали бюджет вывода. Увеличьте
max_tokens. Почему ответы приходят пустыми. - Агент не вызывает инструменты. Задайте
is_function_calling_model=Trueи используйтеbroadnet/glm-5.3илиbroadnet/qwen3.8-27b. - 429 при индексации или пакетных запросах. Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. По умолчанию OpenAILike повторяет запрос 3 раза (
max_retries). См. ошибки и повторные запросы.
