BroadRouter
Начать

Переход с OpenAI API: разбор кода на Python, Node и cURL

Команда BroadNet Inference · 6 мин чтения · Опубликовано

Поменяйте в клиенте базовый URL, API-ключ и ID модели. Для вызовов Chat Completions этого достаточно. Код на Responses API придётся переписать под Chat Completions: input превращается в messages, output_text — в choices[0].message.content, а у инструментов становится на уровень вложенности больше. Если у нового провайдера нет эмбеддингов, оставьте их на отдельном клиенте и прогоните smoke-тест, прежде чем переключать трафик.

Перенести приложение с OpenAI на OpenAI-совместимого провайдера — небольшое изменение в коде, если вы используете Chat Completions, и переписывание, если Responses API. В этой статье — точные диффы на Python, Node и cURL, что делать с Responses, инструментами, структурированным выводом и эмбеддингами, а также smoke-тест, который стоит прогнать до переноса трафика. В примерах используется BroadNet Inference по адресу https://inference.broadnet.ai/v1; те же шаги подходят для любого провайдера.

Это практическое дополнение к чек-листу миграции, где разобраны лимиты запросов, ошибки и план переключения. Базовые URL других провайдеров — в статье проверенные базовые URL OpenAI-совместимых API.

Что меняется в настройке клиента?

Три значения: базовый URL, API-ключ и ID модели.

Python

import os
from openai import OpenAI

# before: client = OpenAI()  # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",          # was e.g. "gpt-..."
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)

Node

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);

cURL

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'

Обратите внимание на путь: базовый URL уже заканчивается на /v1, поэтому SDK добавляет /chat/completions. Удвоенный /v1 — самая частая первая ошибка.

Можно ли переключиться, не трогая код?

Да, для кода на Chat Completions. Python SDK читает OPENAI_BASE_URL, если base_url не передан, а клиент для Node по умолчанию берёт baseURL из process.env['OPENAI_BASE_URL']. Оба читают OPENAI_API_KEY. Две переменные окружения переносят все вызовы.

В этом же и риск. Переезжают все вызовы, включая эмбеддинги, модерацию, загрузку файлов и всё остальное, чего у нового провайдера может не быть. Используйте переключение через окружение, только если ваше приложение делает исключительно чат-вызовы.

Что делать, если код использует Responses API?

README SDK от OpenAI теперь называют Responses API основным, а README для Python называет Chat Completions “the previous standard (supported indefinitely)” (перевод: «предыдущий стандарт (поддерживается бессрочно)»). Многие совместимые провайдеры реализуют только Chat Completions. BroadNet документирует POST /v1/chat/completions и POST /v1/audio/transcriptions, поэтому вызовы Responses нужно переписать. Соответствие:

Responses API Chat Completions
client.responses.create(...) client.chat.completions.create(...)
instructions="..." Первое сообщение {"role": "system", "content": "..."}
input="..." или список элементов messages=[...]
response.output_text response.choices[0].message.content
max_output_tokens max_tokens (в документации BroadNet) или max_completion_tokens
text={"format": {...}} response_format={...}
previous_response_id, conversations Отправляйте всю историю сообщений сами
Инструмент {"type": "function", "name": ...} Инструмент {"type": "function", "function": {"name": ...}}
Элемент вывода function_call, ответ через function_call_output и call_id message.tool_calls, ответ с ролью tool и tool_call_id
Встроенные инструменты (веб-поиск, поиск по файлам) Недоступны; запускайте собственный инструмент

Было и стало для простого вызова:

# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text

# After: Chat Completions
r = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "system", "content": "Be brief."},
              {"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content

Самое большое структурное изменение касается состояния. Responses может хранить состояние диалога на стороне OpenAI через previous_response_id. У Chat Completions нет состояния на сервере, поэтому ваш код хранит список сообщений и на каждом шаге отправляет его целиком. Заложите это в бюджет: вся история — это входные токены в каждом вызове.

Как меняются вызовы инструментов?

В Chat Completions описание инструмента вкладывает функцию в ключ function, а результат возвращается сообщением с ролью tool:

import json

tools = [{
    "type": "function",
    "function": {
        "name": "get_order",
        "description": "Look up an order by ID.",
        "parameters": {"type": "object",
                       "properties": {"order_id": {"type": "string"}},
                       "required": ["order_id"]},
    },
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
    messages.append(msg)                                   # keep the assistant turn
    for call in msg.tool_calls:
        args = json.loads(call.function.arguments)         # a JSON string: parse and validate it
        messages.append({"role": "tool", "tool_call_id": call.id,
                         "content": json.dumps(lookup_order(args["order_id"]))})
    r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)

Модель важнее формата. Документация BroadNet указывает инструменты только для GLM 5.3 и Qwen3.8 27B. Не направляйте цикл с инструментами на модель, для которой инструменты в документации не указаны, и валидируйте аргументы, прежде чем что-либо запускать. Полный цикл с валидацией — в статье вызов инструментов в открытых моделях.

А что со структурированным выводом?

client.chat.completions.parse(..., response_format=MyPydanticModel) и zodResponseFormat в Node отправляют response_format с JSON-схемой. Они работают, только если провайдер принимает такой формат на этой модели. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B, но не называет параметр запроса. Прогоните тест из четырёх шагов из статьи JSON mode или json_schema по одному разу для каждой модели и продолжайте валидировать разобранный результат, что бы ни обещал провайдер.

Что будет с эмбеддингами?

Если вы меняете базовый URL у общего клиента, а у провайдера нет эндпоинта эмбеддингов, каждый вызов client.embeddings.create будет падать. BroadNet не продаёт эмбеддинги. Держите два клиента:

chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"])   # or any embeddings provider

vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))

Никогда не смешивайте в одном индексе векторы от двух моделей эмбеддингов. Если вы меняете и провайдера эмбеддингов, пересчитайте эмбеддинги для всего корпуса. Сколько это стоит, покажет калькулятор стоимости эмбеддингов.

То же касается всего, что не является чатом: генерации изображений, синтеза речи, модерации, Batch API и хранения файлов. Ничего из этого BroadNet не предлагает. Распознавание речи переносится: client.audio.transcriptions.create работает с /v1/audio/transcriptions с файлами WAV или MP3 и полем language (руководство по распознаванию арабской речи).

Как меняется код стриминга?

Responses API стримит типизированные события, например response.output_text.delta и response.completed. Chat Completions стримит чанки, и текст находится в choices[0].delta.content. Usage не отправляется, пока вы его не запросите, и тогда приходит в последнем чанке с пустым списком choices.

// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Count from one to three." }],
  stream: true,
  stream_options: { include_usage: true },
});
for await (const chunk of stream) {
  const text = chunk.choices[0]?.delta?.content;
  if (text) process.stdout.write(text);
  if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens);   // last chunk
}

Две привычки делают код стриминга безопасным после перехода. Проверяйте наличие choices[0], потому что в чанке с usage нет choices. И считайте незавершённым стрим, который закончился до финальной строки data: [DONE]; документация BroadNet советует записать X-Request-ID и решить, безопасно ли отправлять новый запрос. Полный шаблон на Python — в руководстве стриминг chat completions.

Меняются ли обработка ошибок и повторы?

Классы ошибок SDK остаются прежними: AuthenticationError для 401, RateLimitError для 429, APIStatusError для остальных. Меняется то, что каждый код означает у нового провайдера. В BroadNet ошибка 401 может означать не только неверный ключ, но и исчерпанный лимит оплаты по факту, а 402 — недостаточный баланс для покупки. Ни одна из них не исчезнет при повторе. Ошибка 429 может быть вызвана лимитом запросов, параллельности, скорости расхода токенов или расходов. Повторяйте 429 и 5xx с задержкой, а всё остальное исправляйте. Полная таблица — в руководстве по ошибкам и повторам.

SDK по умолчанию дважды повторяет ошибки соединения, 408, 409, 429 и 5xx. Если вы добавляете собственный цикл повторов, задайте в клиенте max_retries=0, чтобы повторы не накладывались друг на друга.

Какие параметры ведут себя иначе?

Параметр Что проверить
max_tokens / max_completion_tokens OpenAI объявляет max_tokens устаревшим; в документации BroadNet используется именно он. У рассуждающих моделей он включает размышления, поэтому при маленьких значениях ответы приходят пустыми (почему)
reasoning_effort BroadNet документирует low; другие значения протестируйте, прежде чем на них полагаться
stream_options: {"include_usage": true} Документирован BroadNet; usage приходит в последнем чанке
n, logprobs, seed, logit_bias В документации BroadNet их нет; протестируйте или уберите
store, metadata Функции хранения OpenAI; уберите их
Части контента image_url Только на моделях, для которых указаны изображения: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B

Как протестировать переход?

Прежде чем переносить трафик, прогоните на новом провайдере короткий smoke-тест. Этот проверяет обычный чат, usage при стриминге, бюджет рассуждений и аутентификацию. Если вы используете инструменты, добавьте случай с вызовом инструмента.

import os, openai
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]

# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0

# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
                                             stream_options={"include_usage": True}))
assert chunks[-1].usage is not None

# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content

# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
    bad.chat.completions.create(model=FAST, messages=msg)
    raise AssertionError("expected 401")
except openai.AuthenticationError:
    pass
print("smoke test passed")

Затем сравните качество, а не только формат. Прогоните выборку реальных промптов у обоих провайдеров и оцените ответы; как это сделать, показано в статье как оценить LLM перед переходом. Инструмент миграции с OpenAI на BroadNet помогает переписать фрагмент кода и показывает, какие функции в нём используются.

Что ломается чаще всего?

  • Глобальный базовый URL, который заодно переносит вызовы эмбеддингов и файлов.
  • Хелперы только для Responses, например output_text, оставшиеся в коде, который теперь вызывает Chat Completions.
  • ID моделей. Имён gpt-... у других провайдеров нет. В BroadNet они выглядят как broadnet/glm-5.3.
  • Пустые ответы рассуждающих моделей при маленьком max_tokens.
  • Лимиты запросов. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Для больших заданий нужна очередь (обработка ошибки 429).

Какое место здесь занимает BroadNet Inference

BroadNet Inference подходит приложениям, которые используют OpenAI для чата и транскрибации: ассистентам, извлечению данных, суммаризации, переводу и арабской речи. Подходит он и приложениям, которым для агентов нужны тарифы на DeepSeek V4.1 Flash с фиксированной ценой. Это неподходящий выбор, если вы зависите от состояния на сервере в Responses API, встроенных инструментов, эмбеддингов, генерации изображений, синтеза речи, голосового режима в реальном времени или Batch API. Перенесите их к провайдерам, которые это предлагают, или оставьте на OpenAI и перенесите только чат-вызовы. Gemma 4 VL 26B и обе модели транскрибации работают на стартовом гранте $5; для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash сначала нужно пополнить баланс.

Вопросы и ответы

Нужен ли другой SDK для работы с OpenAI-совместимым API?

Нет. Оставьте официальный пакет openai и передайте другой base_url (Python) или baseURL (Node), а также ключ нового провайдера. Объекты запросов и ответов остаются прежними для тех эндпоинтов, которые поддерживает провайдер.

Поддерживают ли OpenAI-совместимые API Responses API?

Некоторые да, но многие поддерживают только Chat Completions. Проверьте список эндпоинтов провайдера. BroadNet Inference документирует /v1/chat/completions и /v1/audio/transcriptions, поэтому код на Responses нужно переписать под Chat Completions.

Что будет с эмбеддингами при переходе?

Они сломаются, если у нового провайдера нет эндпоинта эмбеддингов, а вы поменяли базовый URL глобально. BroadNet не продаёт эмбеддинги, поэтому оставьте клиент эмбеддингов направленным на вашего провайдера эмбеддингов. Никогда не смешивайте в одном индексе векторы от двух разных моделей эмбеддингов.

Что передавать — max_tokens или max_completion_tokens?

OpenAI помечает max_tokens как устаревший в пользу max_completion_tokens. Многие совместимые провайдеры документируют max_tokens, и в документации BroadNet тоже используется max_tokens. Передавайте то, что документирует провайдер, и убедитесь в smoke-тесте, что лимит действительно применяется.

Будут ли работать хелперы OpenAI для структурированного вывода?

Только если провайдер принимает response_format с json_schema на используемой вами модели. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B, но не называет параметр запроса, поэтому протестируйте его и продолжайте валидировать разобранный результат.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity