BroadRouter
Начать

OpenAI-совместимый API

Обновлено

OpenAI-совместимый API — это HTTP API, который принимает те же форматы запросов и ответов, что и OpenAI API, например POST /v1/chat/completions. Поэтому SDK и инструменты OpenAI работают с ним после замены всего трёх значений: базового URL, API-ключа и названия модели.

Также называют: совместимый с OpenAI API, API в формате OpenAI, совместимость с OpenAI, замена OpenAI API, OpenAI-compatible API, OpenAI API compatible, OpenAI-style API, OpenAI drop-in replacement

Формат API OpenAI стал общим языком инструментов для LLM. Его принимают многие провайдеры, поэтому одна клиентская библиотека может работать со множеством бэкендов.

Как это работает

Совместимый API повторяет те части OpenAI API, от которых зависят клиенты:

  • те же пути, например /v1/chat/completions и /v1/audio/transcriptions;
  • те же JSON-структуры: на входе массив messages, на выходе choices[0].message.content и блок usage с числом токенов;
  • API-ключ в заголовке Authorization: Bearer <key>;
  • стриминг через server-sent events, когда stream равен true.

Переход сводится к изменению конфигурации. С официальным Python SDK:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

По сравнению с примером для OpenAI изменились только три значения: базовый URL, ключ и ID модели.

Почему это важно

Совместимость снижает стоимость перехода. SDK, фреймворки для агентов, плагины для IDE и роутеры, которые работают с форматом OpenAI, подключаются без нового кода. Второго провайдера можно проверить за минуты и сохранить возможность переехать.

Но совместимый — не значит идентичный. Например, собственный слой совместимости Anthropic игнорирует strict у инструментов и оставляет prompt_tokens_details пустым. Типичные расхождения:

  • параметры, которые игнорируются или отклоняются;
  • как токены рассуждений учитываются в max_tokens;
  • приходит ли usage в конце потока;
  • лимиты частоты и коды ошибок.

В BroadNet Inference

BroadNet Inference обслуживает POST /v1/chat/completions, POST /v1/audio/transcriptions и GET /v1/models по адресу https://inference.broadnet.ai/v1. Ключи передаются только в заголовке Authorization: Bearer <key>. Полная настройка показана в руководствах по Python и Node, и так же работает LangChain.

Два отличия стоит учесть заранее. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения расходуют max_tokens. А ключ с оплатой по факту допускает 30 запросов в минуту, одновременно — не больше 4. Остальное — в чек-листе миграции.

Частые ошибки

  • Оставлять название модели OpenAI, например gpt-6-astra (флагман OpenAI на её странице моделей, проверено 2026-11-15). Используйте ID модели провайдера.
  • Считать, что параметр работает, раз запрос прошёл успешно. Некоторые провайдеры молча игнорируют неизвестные поля.

Вопросы и ответы

Значит ли «совместимый с OpenAI», что работают все функции OpenAI?

Нет. Это значит, что совпадают основные форматы запросов и ответов. Отдельные поля могут игнорироваться или отклоняться. Например, слой совместимости Anthropic документирует поля, которые он игнорирует, и поля, на которые возвращает ошибку 400. Прежде чем полагаться на параметр, прочитайте список провайдера.

Нужен ли другой SDK?

Нет. Официальные SDK OpenAI принимают свой базовый URL. В Python передайте base_url, в Node — baseURL, либо задайте переменную окружения OPENAI_BASE_URL.

Какие эндпоинты поддерживает BroadNet Inference?

POST /v1/chat/completions для чата и POST /v1/audio/transcriptions для распознавания речи. Есть и GET /v1/models, но документация BroadNet описывает его как публичные метаданные каталога для внешних мониторов, поэтому ID моделей для запросов берите из справочника API.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity