BroadRouter
시작하기

OpenAI 호환 API(OpenAI-compatible API)

업데이트

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

다른 이름: OpenAI 호환, OpenAI 호환 엔드포인트, OpenAI 호환성, OpenAI-compatible API, OpenAI API compatible, OpenAI-style API, OpenAI drop-in replacement

OpenAI의 API 형식은 LLM 도구의 공용어가 되었습니다. 이제 많은 제공업체가 이 형식을 받아들이므로, 클라이언트 라이브러리 하나로 여러 백엔드와 통신할 수 있습니다.

작동 방식

호환 API는 클라이언트가 의존하는 OpenAI API의 부분을 그대로 따릅니다.

  • /v1/chat/completions, /v1/audio/transcriptions 같은 동일한 경로
  • 동일한 JSON 형식: 입력은 messages 배열, 출력은 choices[0].message.content, 그리고 토큰 수가 담긴 usage 블록
  • Authorization: Bearer <key> 형식으로 보내는 API 키
  • stream이 true일 때 server-sent events로 전송되는 스트리밍

전환은 설정 변경만으로 끝납니다. 공식 Python SDK에서는 다음과 같습니다.

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
reply = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Say hello in Arabic."}],
)
print(reply.choices[0].message.content)

OpenAI 예제에서 바뀐 값은 base URL, 키, 모델 ID 세 가지뿐입니다.

왜 중요한가

호환성은 전환 비용을 낮춥니다. OpenAI 형식을 쓰는 SDK, 에이전트 프레임워크, IDE 플러그인, 라우터가 새 코드 없이 동작합니다. 두 번째 제공업체를 몇 분 만에 테스트할 수 있고, 언제든 옮겨 갈 선택지를 남겨 둘 수 있습니다.

하지만 호환된다고 해서 똑같지는 않습니다. 예를 들어 Anthropic의 자체 호환 계층은 도구의 strict를 무시하고 prompt_tokens_details를 비워 둡니다. 흔히 차이가 나는 부분은 다음과 같습니다.

  • 무시되거나 거부되는 파라미터
  • 추론 토큰을 max_tokens에 계산하는 방식
  • 스트림 끝에서 사용량을 보고하는지 여부
  • 속도 제한과 오류 코드

BroadNet Inference에서는

BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 POST /v1/chat/completions, POST /v1/audio/transcriptions, GET /v1/models를 제공합니다. 키는 Authorization: Bearer <key> 형식으로만 보냅니다. Python 가이드와 Node 가이드에 전체 설정이 있으며, LangChain도 같은 방식으로 동작합니다.

미리 대비해야 할 차이는 두 가지입니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답변 전에 추론하며, 이 추론도 max_tokens에 포함됩니다. 그리고 종량제 키에는 한도가 있습니다: 분당 요청 수 30, 동시 요청 수 4. 나머지는 마이그레이션 체크리스트에서 다룹니다.

흔한 실수

  • gpt-6-astra(2026-11-15 확인 기준 OpenAI 모델 페이지의 플래그십 모델) 같은 OpenAI 모델 이름을 그대로 두는 것. 제공업체의 모델 ID를 사용하세요.
  • 요청이 성공했다고 파라미터가 동작한다고 가정하는 것. 일부 제공업체는 알 수 없는 필드를 조용히 무시합니다.

자주 묻는 질문

OpenAI 호환이면 OpenAI의 모든 기능이 동작하나요?

아니요. 핵심 요청 및 응답 형식이 같다는 뜻입니다. 개별 필드는 무시되거나 거부될 수 있습니다. 예를 들어 Anthropic의 호환 계층은 무시하는 필드와 400 오류를 반환하는 필드를 문서로 밝히고 있습니다. 파라미터에 의존하기 전에 제공업체의 목록을 확인하세요.

다른 SDK가 필요한가요?

아니요. 공식 OpenAI SDK는 사용자 지정 base URL을 받습니다. Python에서는 base_url, Node에서는 baseURL을 넘기거나, OPENAI_BASE_URL 환경 변수를 설정하세요.

BroadNet Inference는 어떤 엔드포인트를 지원하나요?

채팅은 POST /v1/chat/completions, 음성 인식(speech to text)은 POST /v1/audio/transcriptions 엔드포인트입니다. GET /v1/models도 있지만 BroadNet 문서는 이를 외부 모니터링 도구를 위한 공개 카탈로그 메타데이터로 설명하므로, 요청에 쓸 모델 ID는 API 레퍼런스에서 가져오세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기