BroadRouter

Spring AI и BroadNet Inference: OpenAI base-url

Обновлено

Добавьте spring-ai-starter-model-openai и задайте spring.ai.openai.base-url равным https://inference.broadnet.ai/v1, spring.ai.openai.api-key — ключу BroadNet, spring.ai.openai.chat.model — ID BroadNet, например broadnet/glm-5.3. spring.ai.openai.chat.max-tokens задайте с запасом на рассуждения. Spring AI 2.x использует SDK openai-java, который добавляет к базовому URL /chat/completions.

Spring AI — фреймворк проекта Spring для работы с ИИ на Java. Его чат-стартер OpenAI читает base-url, поэтому может обращаться к любому OpenAI-совместимому серверу. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1. BroadRouter — собственный сайт BroadNet; руководство опирается на справочник Spring AI 2.0.2.

Добавьте стартер

Когда BOM Spring AI уже подключён (см. документацию Spring AI по управлению зависимостями):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Настройка

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Сохраняйте /v1 в URL. В Spring AI 2.x значение без изменений уходит клиенту openai-java (OpenAiSetup.calculateBaseUrl возвращает его как есть), а клиент добавляет /chat/completions. Заменяемое значение по умолчанию — https://api.openai.com/v1.

Вызов и проверка

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Запустите приложение. Если ответ напечатался, ключ, URL и ID модели указаны верно.

Настройки, важные для BroadNet

  • max-tokens, а не max-completion-tokens. Документация Spring AI говорит, что они взаимоисключающие и указывать оба — ошибка. Справочник API BroadNet описывает max_tokens. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают, и рассуждения учитываются в лимите.
  • Текст рассуждений. Spring AI умеет отдавать reasoning_content от OpenAI-совместимых серверов, которые его возвращают. Справочник API BroadNet сообщает число токенов рассуждений в usage, но сам текст рассуждений не обещает, так что не полагайтесь на него.
  • Переопределение только для чата. spring.ai.openai.chat.base-url и spring.ai.openai.chat.api-key имеют приоритет над общими свойствами для чат-модели. Используйте их, если другие модели OpenAI в Spring AI (например, эмбеддинги) должны остаться на OpenAI.
  • Повторные запросы. spring.ai.retry.max-attempts по умолчанию равен 10 с экспоненциальной задержкой. На ключе с оплатой по факту это может исчерпать поминутный лимит; имеет смысл его уменьшить.

Какую модель выбрать

Задача spring.ai.openai.chat.model
Вызов инструментов, структурированный вывод broadnet/glm-5.3
Изображения или текст на арабском broadnet/qwen3.8-27b
Длинные документы, тариф с фиксированной ценой broadnet/deepseek-v4.1-flash
Бесплатный стартовый грант broadnet/gemma-4-26b-a4b

Цены на все модели.

Решение проблем

  • 401. Ключ неверен, истёк или на нём закончился лимит, либо BROADNET_API_KEY не задан для JVM.
  • 404. В базовом URL нет /v1 или ID модели указан неверно. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустой content(). Рассуждения израсходовали бюджет на выход. Увеличьте max-tokens. Почему ответы приходят пустыми.
  • 400, когда заданы оба лимита токенов. Уберите max-completion-tokens.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно выполняемых. См. ошибки и повторные запросы.

Вопросы и ответы

Нужно ли включать /v1 в spring.ai.openai.base-url?

Да. В Spring AI 2.x значение без изменений передаётся клиенту openai-java, у которого по умолчанию стоит https://api.openai.com/v1. Используйте https://inference.broadnet.ai/v1.

Что использовать с BroadNet: max-tokens или max-completion-tokens?

max-tokens. Документация Spring AI говорит, что эти параметры взаимоисключающие. Справочник API BroadNet описывает поле max_tokens, и рассуждения учитываются в нём, поэтому оставьте 1000 токенов или больше.

Работает ли вызов инструментов Spring AI с BroadNet?

Используйте GLM 5.3 или Qwen3.8 27B: для них BroadNet указывает инструменты. Для DeepSeek V4.1 Flash документация BroadNet вызов инструментов не указывает.

Можно ли оставить OpenAI для эмбеддингов, а для чата использовать BroadNet?

Да. spring.ai.openai.chat.base-url и spring.ai.openai.chat.api-key переопределяют общие свойства только для чат-модели. Эндпоинта для эмбеддингов в справочнике API BroadNet нет.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity