BroadRouter
시작하기

BroadNet Inference에서 OpenAI Python SDK 사용하기

업데이트

OpenAI Python SDK를 BroadNet Inference에서 쓰려면 openai 패키지를 설치하고, base_url을 https://inference.broadnet.ai/v1로, api_key를 BroadNet 키로 지정해 클라이언트를 만드세요. chat.completions 호출은 그대로 작동하고 모델 ID만 바뀝니다(예: broadnet/deepseek-v4.1-flash). BroadNet은 chat completions와 transcriptions를 제공하며 Responses API는 제공하지 않습니다.

BroadNet Inference 계정과 추론 키가 필요합니다. 새 계정은 카드 없이 초기 크레딧($5)으로 시작합니다. inference.broadnet.ai에서 계정을 만드세요. 콘솔은 키를 한 번만 보여 주고 해시만 저장하므로, 키를 바로 환경 변수에 복사해 두세요.

1. 설치하고 키 설정하기

현재 openai 패키지(3.x)는 Python 3.10 이상이 필요합니다.

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

2. 첫 요청 보내기

다음 코드를 first_request.py로 저장하세요.

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

python first_request.py로 실행하세요. 이 예제는 무료 크레딧으로 작동하는 broadnet/gemma-4-26b-a4b 모델을 씁니다. 다른 채팅 모델은 충전 후 쓸 수 있습니다.

3. 원하는 모델로 바꾸기

model만 바꾸면 됩니다.

용도 모델 ID
정액 플랜으로 무제한 사용, 100만 컨텍스트 broadnet/deepseek-v4.1-flash
도구 호출과 구조화된 출력, 100만 컨텍스트 broadnet/glm-5.3
아랍어 텍스트와 이미지 broadnet/qwen3.8-27b
낮은 가격, 무료 크레딧으로 사용 가능 broadnet/gemma-4-26b-a4b

DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 추론도 max_tokens에 포함됩니다. 1,000토큰 이상을 주세요. 한도가 작으면 빈 응답이 나오는 이유를 참고하세요.

4. 답변 스트리밍하기

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    stream=True,
    stream_options={"include_usage": True},
    messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        print("\n", chunk.usage)

include_usage를 켜면 토큰 수는 choices가 없는 마지막 청크로 전달됩니다. 연결이 끊기는 경우는 스트리밍 가이드에서 다룹니다.

5. 요청 ID 보관하기

모든 응답에는 X-Request-ID 헤더가 있습니다. BroadNet 지원팀이 이 값을 요청하므로 로그에 남겨 두세요. 파싱된 응답에서는 response._request_id로 확인할 수 있습니다. 다른 헤더와 함께 읽으려면 다음과 같이 하세요.

raw = client.chat.completions.with_raw_response.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()

종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 오류 코드별 의미와 재시도 시점을 참고하세요.

문제 해결

  • AuthenticationError (401). 키가 틀렸거나, 만료되었거나, 종량제 사용 가능 금액이 소진되었습니다. 코드를 실행하는 프로세스에 BROADNET_API_KEY가 설정되어 있는지 확인하세요.
  • NotFoundError (404). base_url이 /v1로 끝나는지, responses가 아니라 chat.completions를 호출하는지 확인하세요. 그다음 broadnet/ 접두사를 포함한 모델 ID를 확인하세요.
  • 새 계정에서 유료 모델 호출 실패. 초기 크레딧($5)은 BroadNet Gemma 4 VL 26B(broadnet/gemma-4-26b-a4b)와 BroadNet Transcribe 모델 2종에 적용됩니다. 다른 채팅 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)을 쓰려면 충전하세요.
  • 비어 있는 content. 추론은 max_tokens에 포함됩니다. 1,000 이상으로 늘리세요. 답변이 비어 있는 이유를 참고하세요.
  • RateLimitError (429). 분당 한도나 동시 처리 한도를 넘었습니다. SDK는 기본적으로 두 번 재시도합니다. 바꾸려면 클라이언트에 max_retries를 설정하세요.
  • 업그레이드 후 커스텀 HTTP 클라이언트 오류. 3.x SDK는 HTTPX2를 씁니다. 직접 만든 http_client를 넘긴다면 SDK의 HTTPX2 마이그레이션 가이드를 따르세요.

자주 묻는 질문

다른 SDK가 필요한가요?

아닙니다. BroadNet Inference는 OpenAI chat completions와 audio transcriptions 형식을 따르므로, base_url만 바꾸면 공식 openai 패키지가 그대로 작동합니다.

OPENAI_API_KEY를 계속 써도 되나요?

써도 됩니다. 다만 BROADNET_API_KEY 변수를 따로 두면 한 제공업체의 키를 실수로 다른 업체에 보내는 일을 막을 수 있습니다.

SDK가 OPENAI_BASE_URL을 읽나요?

네. base_url을 넘기지 않으면 클라이언트는 OPENAI_BASE_URL을 씁니다. 이를 https://inference.broadnet.ai/v1로 설정하고 OPENAI_API_KEY에 BroadNet 키를 넣으면 OpenAI()를 인자 없이 호출할 수 있습니다.

BroadNet에서 client.responses.create를 쓸 수 있나요?

아닙니다. SDK의 README는 Responses API를 먼저 소개하지만, BroadNet 문서에는 chat completions와 audio transcriptions만 나와 있습니다. client.chat.completions.create를 쓰세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기