OpenAI의 API 형식은 LLM 도구의 공용어가 되었습니다. 이제 많은 제공업체가 이 형식을 받아들이므로, 클라이언트 라이브러리 하나로 여러 백엔드와 통신할 수 있습니다.
작동 방식
호환 API는 클라이언트가 의존하는 OpenAI API의 부분을 그대로 따릅니다.
/v1/chat/completions,/v1/audio/transcriptions같은 동일한 경로- 동일한 JSON 형식: 입력은
messages배열, 출력은choices[0].message.content, 그리고 토큰 수가 담긴usage블록 Authorization: Bearer <key>형식으로 보내는 API 키stream이 true일 때 server-sent events로 전송되는 스트리밍
전환은 설정 변경만으로 끝납니다. 공식 Python SDK에서는 다음과 같습니다.
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)
OpenAI 예제에서 바뀐 값은 base URL, 키, 모델 ID 세 가지뿐입니다.
왜 중요한가
호환성은 전환 비용을 낮춥니다. OpenAI 형식을 쓰는 SDK, 에이전트 프레임워크, IDE 플러그인, 라우터가 새 코드 없이 동작합니다. 두 번째 제공업체를 몇 분 만에 테스트할 수 있고, 언제든 옮겨 갈 선택지를 남겨 둘 수 있습니다.
하지만 호환된다고 해서 똑같지는 않습니다. 예를 들어 Anthropic의 자체 호환 계층은 도구의 strict를 무시하고 prompt_tokens_details를 비워 둡니다. 흔히 차이가 나는 부분은 다음과 같습니다.
- 무시되거나 거부되는 파라미터
- 추론 토큰을
max_tokens에 계산하는 방식 - 스트림 끝에서 사용량을 보고하는지 여부
- 속도 제한과 오류 코드
BroadNet Inference에서는
BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 POST /v1/chat/completions, POST /v1/audio/transcriptions, GET /v1/models를 제공합니다. 키는 Authorization: Bearer <key> 형식으로만 보냅니다. Python 가이드와 Node 가이드에 전체 설정이 있으며, LangChain도 같은 방식으로 동작합니다.
미리 대비해야 할 차이는 두 가지입니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답변 전에 추론하며, 이 추론도 max_tokens에 포함됩니다. 그리고 종량제 키에는 한도가 있습니다: 분당 요청 수 30, 동시 요청 수 4. 나머지는 마이그레이션 체크리스트에서 다룹니다.
흔한 실수
gpt-6-astra(2026-11-15 확인 기준 OpenAI 모델 페이지의 플래그십 모델) 같은 OpenAI 모델 이름을 그대로 두는 것. 제공업체의 모델 ID를 사용하세요.- 요청이 성공했다고 파라미터가 동작한다고 가정하는 것. 일부 제공업체는 알 수 없는 필드를 조용히 무시합니다.