BroadNet Inference 계정과 추론 키가 필요합니다. 새 계정은 카드 없이 초기 크레딧($5)으로 시작합니다. inference.broadnet.ai에서 계정을 만드세요. 콘솔은 키를 한 번만 보여 주고 해시만 저장하므로, 키를 바로 환경 변수에 복사해 두세요.
1. 설치하고 키 설정하기
현재 openai 패키지(3.x)는 Python 3.10 이상이 필요합니다.
python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'
2. 첫 요청 보내기
다음 코드를 first_request.py로 저장하세요.
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)
python first_request.py로 실행하세요. 이 예제는 무료 크레딧으로 작동하는 broadnet/gemma-4-26b-a4b 모델을 씁니다. 다른 채팅 모델은 충전 후 쓸 수 있습니다.
3. 원하는 모델로 바꾸기
model만 바꾸면 됩니다.
| 용도 | 모델 ID |
|---|---|
| 정액 플랜으로 무제한 사용, 100만 컨텍스트 | broadnet/deepseek-v4.1-flash |
| 도구 호출과 구조화된 출력, 100만 컨텍스트 | broadnet/glm-5.3 |
| 아랍어 텍스트와 이미지 | broadnet/qwen3.8-27b |
| 낮은 가격, 무료 크레딧으로 사용 가능 | broadnet/gemma-4-26b-a4b |
DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 추론도 max_tokens에 포함됩니다. 1,000토큰 이상을 주세요. 한도가 작으면 빈 응답이 나오는 이유를 참고하세요.
4. 답변 스트리밍하기
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
stream=True,
stream_options={"include_usage": True},
messages=[{"role": "user", "content": "Count from one to three."}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
print("\n", chunk.usage)
include_usage를 켜면 토큰 수는 choices가 없는 마지막 청크로 전달됩니다. 연결이 끊기는 경우는 스트리밍 가이드에서 다룹니다.
5. 요청 ID 보관하기
모든 응답에는 X-Request-ID 헤더가 있습니다. BroadNet 지원팀이 이 값을 요청하므로 로그에 남겨 두세요. 파싱된 응답에서는 response._request_id로 확인할 수 있습니다. 다른 헤더와 함께 읽으려면 다음과 같이 하세요.
raw = client.chat.completions.with_raw_response.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Hi"}],
)
print(raw.headers.get("x-request-id"))
response = raw.parse()
종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 오류 코드별 의미와 재시도 시점을 참고하세요.
문제 해결
AuthenticationError(401). 키가 틀렸거나, 만료되었거나, 종량제 사용 가능 금액이 소진되었습니다. 코드를 실행하는 프로세스에BROADNET_API_KEY가 설정되어 있는지 확인하세요.NotFoundError(404).base_url이/v1로 끝나는지,responses가 아니라chat.completions를 호출하는지 확인하세요. 그다음broadnet/접두사를 포함한 모델 ID를 확인하세요.- 새 계정에서 유료 모델 호출 실패. 초기 크레딧($5)은 BroadNet Gemma 4 VL 26B(
broadnet/gemma-4-26b-a4b)와 BroadNet Transcribe 모델 2종에 적용됩니다. 다른 채팅 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)을 쓰려면 충전하세요. - 비어 있는
content. 추론은max_tokens에 포함됩니다. 1,000 이상으로 늘리세요. 답변이 비어 있는 이유를 참고하세요. RateLimitError(429). 분당 한도나 동시 처리 한도를 넘었습니다. SDK는 기본적으로 두 번 재시도합니다. 바꾸려면 클라이언트에max_retries를 설정하세요.- 업그레이드 후 커스텀 HTTP 클라이언트 오류. 3.x SDK는 HTTPX2를 씁니다. 직접 만든
http_client를 넘긴다면 SDK의 HTTPX2 마이그레이션 가이드를 따르세요.
