Формат API OpenAI стал общим языком инструментов для LLM. Его принимают многие провайдеры, поэтому одна клиентская библиотека может работать со множеством бэкендов.
Как это работает
Совместимый API повторяет те части OpenAI API, от которых зависят клиенты:
- те же пути, например
/v1/chat/completionsи/v1/audio/transcriptions; - те же JSON-структуры: на входе массив
messages, на выходеchoices[0].message.contentи блокusageс числом токенов; - API-ключ в заголовке
Authorization: Bearer <key>; - стриминг через server-sent events, когда
streamравен true.
Переход сводится к изменению конфигурации. С официальным Python SDK:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
По сравнению с примером для OpenAI изменились только три значения: базовый URL, ключ и ID модели.
Почему это важно
Совместимость снижает стоимость перехода. SDK, фреймворки для агентов, плагины для IDE и роутеры, которые работают с форматом OpenAI, подключаются без нового кода. Второго провайдера можно проверить за минуты и сохранить возможность переехать.
Но совместимый — не значит идентичный. Например, собственный слой совместимости Anthropic игнорирует strict у инструментов и оставляет prompt_tokens_details пустым. Типичные расхождения:
- параметры, которые игнорируются или отклоняются;
- как токены рассуждений учитываются в
max_tokens; - приходит ли usage в конце потока;
- лимиты частоты и коды ошибок.
В BroadNet Inference
BroadNet Inference обслуживает POST /v1/chat/completions, POST /v1/audio/transcriptions и GET /v1/models по адресу https://inference.broadnet.ai/v1. Ключи передаются только в заголовке Authorization: Bearer <key>. Полная настройка показана в руководствах по Python и Node, и так же работает LangChain.
Два отличия стоит учесть заранее. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают перед ответом, и рассуждения расходуют max_tokens. А ключ с оплатой по факту допускает 30 запросов в минуту, одновременно — не больше 4. Остальное — в чек-листе миграции.
Частые ошибки
- Оставлять название модели OpenAI, например
gpt-6-astra(флагман OpenAI на её странице моделей, проверено 2026-11-15). Используйте ID модели провайдера. - Считать, что параметр работает, раз запрос прошёл успешно. Некоторые провайдеры молча игнорируют неизвестные поля.