Перенести приложение с OpenAI на OpenAI-совместимого провайдера — небольшое изменение в коде, если вы используете Chat Completions, и переписывание, если Responses API. В этой статье — точные диффы на Python, Node и cURL, что делать с Responses, инструментами, структурированным выводом и эмбеддингами, а также smoke-тест, который стоит прогнать до переноса трафика. В примерах используется BroadNet Inference по адресу https://inference.broadnet.ai/v1; те же шаги подходят для любого провайдера.
Это практическое дополнение к чек-листу миграции, где разобраны лимиты запросов, ошибки и план переключения. Базовые URL других провайдеров — в статье проверенные базовые URL OpenAI-совместимых API.
Что меняется в настройке клиента?
Три значения: базовый URL, API-ключ и ID модели.
Python
import os
from openai import OpenAI
# before: client = OpenAI() # reads OPENAI_API_KEY, calls api.openai.com
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b", # was e.g. "gpt-..."
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(r.choices[0].message.content)
Node
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(r.choices[0].message.content);
cURL
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","messages":[{"role":"user","content":"Reply with one short sentence."}]}'
Обратите внимание на путь: базовый URL уже заканчивается на /v1, поэтому SDK добавляет /chat/completions. Удвоенный /v1 — самая частая первая ошибка.
Можно ли переключиться, не трогая код?
Да, для кода на Chat Completions. Python SDK читает OPENAI_BASE_URL, если base_url не передан, а клиент для Node по умолчанию берёт baseURL из process.env['OPENAI_BASE_URL']. Оба читают OPENAI_API_KEY. Две переменные окружения переносят все вызовы.
В этом же и риск. Переезжают все вызовы, включая эмбеддинги, модерацию, загрузку файлов и всё остальное, чего у нового провайдера может не быть. Используйте переключение через окружение, только если ваше приложение делает исключительно чат-вызовы.
Что делать, если код использует Responses API?
README SDK от OpenAI теперь называют Responses API основным, а README для Python называет Chat Completions “the previous standard (supported indefinitely)” (перевод: «предыдущий стандарт (поддерживается бессрочно)»). Многие совместимые провайдеры реализуют только Chat Completions. BroadNet документирует POST /v1/chat/completions и POST /v1/audio/transcriptions, поэтому вызовы Responses нужно переписать. Соответствие:
| Responses API | Chat Completions |
|---|---|
client.responses.create(...) |
client.chat.completions.create(...) |
instructions="..." |
Первое сообщение {"role": "system", "content": "..."} |
input="..." или список элементов |
messages=[...] |
response.output_text |
response.choices[0].message.content |
max_output_tokens |
max_tokens (в документации BroadNet) или max_completion_tokens |
text={"format": {...}} |
response_format={...} |
previous_response_id, conversations |
Отправляйте всю историю сообщений сами |
Инструмент {"type": "function", "name": ...} |
Инструмент {"type": "function", "function": {"name": ...}} |
Элемент вывода function_call, ответ через function_call_output и call_id |
message.tool_calls, ответ с ролью tool и tool_call_id |
| Встроенные инструменты (веб-поиск, поиск по файлам) | Недоступны; запускайте собственный инструмент |
Было и стало для простого вызова:
# Before: Responses API
r = client.responses.create(model="gpt-...", instructions="Be brief.", input="What is RAG?")
text = r.output_text
# After: Chat Completions
r = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "system", "content": "Be brief."},
{"role": "user", "content": "What is RAG?"}],
)
text = r.choices[0].message.content
Самое большое структурное изменение касается состояния. Responses может хранить состояние диалога на стороне OpenAI через previous_response_id. У Chat Completions нет состояния на сервере, поэтому ваш код хранит список сообщений и на каждом шаге отправляет его целиком. Заложите это в бюджет: вся история — это входные токены в каждом вызове.
Как меняются вызовы инструментов?
В Chat Completions описание инструмента вкладывает функцию в ключ function, а результат возвращается сообщением с ролью tool:
import json
tools = [{
"type": "function",
"function": {
"name": "get_order",
"description": "Look up an order by ID.",
"parameters": {"type": "object",
"properties": {"order_id": {"type": "string"}},
"required": ["order_id"]},
},
}]
messages = [{"role": "user", "content": "Where is order A-1042?"}]
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
msg = r.choices[0].message
if msg.tool_calls:
messages.append(msg) # keep the assistant turn
for call in msg.tool_calls:
args = json.loads(call.function.arguments) # a JSON string: parse and validate it
messages.append({"role": "tool", "tool_call_id": call.id,
"content": json.dumps(lookup_order(args["order_id"]))})
r = client.chat.completions.create(model="broadnet/glm-5.3", messages=messages, tools=tools)
Модель важнее формата. Документация BroadNet указывает инструменты только для GLM 5.3 и Qwen3.8 27B. Не направляйте цикл с инструментами на модель, для которой инструменты в документации не указаны, и валидируйте аргументы, прежде чем что-либо запускать. Полный цикл с валидацией — в статье вызов инструментов в открытых моделях.
А что со структурированным выводом?
client.chat.completions.parse(..., response_format=MyPydanticModel) и zodResponseFormat в Node отправляют response_format с JSON-схемой. Они работают, только если провайдер принимает такой формат на этой модели. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B, но не называет параметр запроса. Прогоните тест из четырёх шагов из статьи JSON mode или json_schema по одному разу для каждой модели и продолжайте валидировать разобранный результат, что бы ни обещал провайдер.
Что будет с эмбеддингами?
Если вы меняете базовый URL у общего клиента, а у провайдера нет эндпоинта эмбеддингов, каждый вызов client.embeddings.create будет падать. BroadNet не продаёт эмбеддинги. Держите два клиента:
chat = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
embed = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # or any embeddings provider
vec = embed.embeddings.create(model="text-embedding-3-small", input=query).data[0].embedding
answer = chat.chat.completions.create(model="broadnet/glm-5.3", messages=build_prompt(query, search(vec)))
Никогда не смешивайте в одном индексе векторы от двух моделей эмбеддингов. Если вы меняете и провайдера эмбеддингов, пересчитайте эмбеддинги для всего корпуса. Сколько это стоит, покажет калькулятор стоимости эмбеддингов.
То же касается всего, что не является чатом: генерации изображений, синтеза речи, модерации, Batch API и хранения файлов. Ничего из этого BroadNet не предлагает. Распознавание речи переносится: client.audio.transcriptions.create работает с /v1/audio/transcriptions с файлами WAV или MP3 и полем language (руководство по распознаванию арабской речи).
Как меняется код стриминга?
Responses API стримит типизированные события, например response.output_text.delta и response.completed. Chat Completions стримит чанки, и текст находится в choices[0].delta.content. Usage не отправляется, пока вы его не запросите, и тогда приходит в последнем чанке с пустым списком choices.
// Before (Responses): for await (const e of stream) if (e.type === "response.output_text.delta") out(e.delta);
const stream = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Count from one to three." }],
stream: true,
stream_options: { include_usage: true },
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\ntokens:", chunk.usage.total_tokens); // last chunk
}
Две привычки делают код стриминга безопасным после перехода. Проверяйте наличие choices[0], потому что в чанке с usage нет choices. И считайте незавершённым стрим, который закончился до финальной строки data: [DONE]; документация BroadNet советует записать X-Request-ID и решить, безопасно ли отправлять новый запрос. Полный шаблон на Python — в руководстве стриминг chat completions.
Меняются ли обработка ошибок и повторы?
Классы ошибок SDK остаются прежними: AuthenticationError для 401, RateLimitError для 429, APIStatusError для остальных. Меняется то, что каждый код означает у нового провайдера. В BroadNet ошибка 401 может означать не только неверный ключ, но и исчерпанный лимит оплаты по факту, а 402 — недостаточный баланс для покупки. Ни одна из них не исчезнет при повторе. Ошибка 429 может быть вызвана лимитом запросов, параллельности, скорости расхода токенов или расходов. Повторяйте 429 и 5xx с задержкой, а всё остальное исправляйте. Полная таблица — в руководстве по ошибкам и повторам.
SDK по умолчанию дважды повторяет ошибки соединения, 408, 409, 429 и 5xx. Если вы добавляете собственный цикл повторов, задайте в клиенте max_retries=0, чтобы повторы не накладывались друг на друга.
Какие параметры ведут себя иначе?
| Параметр | Что проверить |
|---|---|
max_tokens / max_completion_tokens |
OpenAI объявляет max_tokens устаревшим; в документации BroadNet используется именно он. У рассуждающих моделей он включает размышления, поэтому при маленьких значениях ответы приходят пустыми (почему) |
reasoning_effort |
BroadNet документирует low; другие значения протестируйте, прежде чем на них полагаться |
stream_options: {"include_usage": true} |
Документирован BroadNet; usage приходит в последнем чанке |
n, logprobs, seed, logit_bias |
В документации BroadNet их нет; протестируйте или уберите |
store, metadata |
Функции хранения OpenAI; уберите их |
Части контента image_url |
Только на моделях, для которых указаны изображения: DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B |
Как протестировать переход?
Прежде чем переносить трафик, прогоните на новом провайдере короткий smoke-тест. Этот проверяет обычный чат, usage при стриминге, бюджет рассуждений и аутентификацию. Если вы используете инструменты, добавьте случай с вызовом инструмента.
import os, openai
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
FAST, REASONING = "broadnet/gemma-4-26b-a4b", "broadnet/qwen3.8-27b"
msg = [{"role": "user", "content": "Reply with the word ok."}]
# 1. Plain chat returns text and usage
r = client.chat.completions.create(model=FAST, messages=msg)
assert r.choices[0].message.content and r.usage.prompt_tokens > 0
# 2. Streaming reports usage in the last chunk
chunks = list(client.chat.completions.create(model=FAST, messages=msg, stream=True,
stream_options={"include_usage": True}))
assert chunks[-1].usage is not None
# 3. A reasoning model needs room: a tiny budget can come back empty
r = client.chat.completions.create(model=REASONING, messages=msg, max_tokens=2000)
assert r.choices[0].finish_reason == "stop" and r.choices[0].message.content
# 4. A bad key raises AuthenticationError (401), which you should not retry
bad = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key="invalid", max_retries=0)
try:
bad.chat.completions.create(model=FAST, messages=msg)
raise AssertionError("expected 401")
except openai.AuthenticationError:
pass
print("smoke test passed")
Затем сравните качество, а не только формат. Прогоните выборку реальных промптов у обоих провайдеров и оцените ответы; как это сделать, показано в статье как оценить LLM перед переходом. Инструмент миграции с OpenAI на BroadNet помогает переписать фрагмент кода и показывает, какие функции в нём используются.
Что ломается чаще всего?
- Глобальный базовый URL, который заодно переносит вызовы эмбеддингов и файлов.
- Хелперы только для Responses, например
output_text, оставшиеся в коде, который теперь вызывает Chat Completions. - ID моделей. Имён
gpt-...у других провайдеров нет. В BroadNet они выглядят какbroadnet/glm-5.3. - Пустые ответы рассуждающих моделей при маленьком
max_tokens. - Лимиты запросов. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Для больших заданий нужна очередь (обработка ошибки 429).
Какое место здесь занимает BroadNet Inference
BroadNet Inference подходит приложениям, которые используют OpenAI для чата и транскрибации: ассистентам, извлечению данных, суммаризации, переводу и арабской речи. Подходит он и приложениям, которым для агентов нужны тарифы на DeepSeek V4.1 Flash с фиксированной ценой. Это неподходящий выбор, если вы зависите от состояния на сервере в Responses API, встроенных инструментов, эмбеддингов, генерации изображений, синтеза речи, голосового режима в реальном времени или Batch API. Перенесите их к провайдерам, которые это предлагают, или оставьте на OpenAI и перенесите только чат-вызовы. Gemma 4 VL 26B и обе модели транскрибации работают на стартовом гранте $5; для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash сначала нужно пополнить баланс.
