BroadRouter
시작하기

개발자

업데이트

BroadNet Inference는 https://inference.broadnet.ai/v1에서 OpenAI 요청 형식을 사용합니다. 콘솔에서 키를 만들어 환경 변수에 저장하고, 정확한 모델 ID와 함께 /chat/completions 또는 /audio/transcriptions로 요청을 보내세요. 프로덕션 트래픽을 옮기기 전에 해당 모델의 파라미터, 스트리밍, 도구, 한도, 오류를 확인하세요.

첫 채팅 요청은 어떻게 보내나요?

  1. inference.broadnet.ai (영어)에 로그인해 추론 키를 만듭니다. 키는 한 번만 표시되며, 콘솔에는 해시만 저장됩니다.
  2. OpenAI SDK를 설치하고 셸에서 키를 설정합니다. 키는 서버에만 두고, 브라우저 코드에는 절대 넣지 마세요.
  3. 요청을 보냅니다. 답변은 choices[0].message.content에서 읽습니다.

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

이 예제는 BroadNet Gemma 4 VL 26B 모델을 사용하며, US$5 상당의 초기 크레딧으로 이용할 수 있습니다. DeepSeek V4.1 Flash, GLM 5.3 및 Qwen3.8 27B 모델은 먼저 충전해야 합니다. 지원 문의에 대비해 응답 헤더의 X-Request-ID 값을 보관하세요.

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

스트리밍

stream=true로 설정하고 data: [DONE]까지 Server-Sent Events를 읽습니다. stream_options.include_usage를 지정하면 토큰 사용량이 마지막 청크에 담겨 옵니다. [DONE] 전에 스트림이 끝나면 답변이 불완전한 것으로 처리하세요. BroadNet은 프로덕션에서 스트리밍에 의존하기 전에 모델별로 확인할 것을 요청합니다.

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

오디오는 어떻게 전사하나요?

WAV 또는 MP3 파일(파일당 최대 26,214,400바이트)을 /audio/transcriptions로 보냅니다. language는 항상 지정하세요. 지정하지 않으면 아랍어가 라틴 문자로 반환될 수 있습니다. 아랍어에는 language=ar 값을 사용합니다. .ogg나 .m4a 파일은 먼저 변환하세요: ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

응답은 JSON이며, 전사 텍스트는 text 필드에 있습니다. 아랍어 모델과 다국어 모델, 오디오 비용.

사용할 수 있는 모델 ID는 무엇인가요?

model에는 정확한 ID를 전달하세요. 채팅 모델을 찾을 때 /v1/models에 의존하지 말고, 이 목록이나 레퍼런스 (영어)를 참고하세요.

모델ID엔드포인트입력문서화됨이용 조건
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completions텍스트 + 이미지추론(reasoning)충전 필요
GLM 5.3broadnet/glm-5.3/chat/completions텍스트도구 호출, 구조화된 출력, 추론(reasoning)충전 필요
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completions텍스트 + 이미지도구 호출, 구조화된 출력, 추론(reasoning)충전 필요
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completions텍스트 + 이미지—초기 크레딧
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptions아랍어 오디오—초기 크레딧
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptions오디오, 14개 언어—초기 크레딧

'문서화됨'은 BroadNet 레퍼런스가 각 모델에 대해 명시한 도구 호출, 구조화된 출력, 추론(reasoning)입니다(2026-11-15 확인). 대시는 레퍼런스에 언급이 없다는 뜻이며, 기능이 없다는 뜻은 아닙니다.

다른 OpenAI 호환 API에서 이전하기: 체크리스트

요청 형식은 익숙하지만 모델마다 차이가 있습니다. 선택한 모델에 대해 각 항목을 확인하고, 트래픽을 전환하기 전에 테스트하세요.

  1. 엔드포인트. 베이스 URL에 https://inference.broadnet.ai/v1 값을 설정합니다.
  2. 키. BroadNet 추론 키를 환경 변수에서 읽어 오세요. 플랜 키와 종량제 키는 별개입니다.
  3. 모델 ID. 정확한 ID를 사용합니다(예: broadnet/gemma-4-26b-a4b).
  4. 파라미터. 보내는 모든 파라미터가 해당 모델 문서에 나와 있는지 확인하세요. 나와 있지 않은 파라미터는 제거하세요.
  5. 스트리밍. 클라이언트가 SSE를 [DONE]까지 읽고, 일찍 끝난 스트림을 처리하는지 확인하세요.
  6. 도구 호출과 구조화된 출력. 레퍼런스에는 다음 모델에 대해 이 기능이 문서화되어 있습니다: GLM 5.3 및 Qwen3.8 27B. 다른 모델은 의존하기 전에 테스트하세요.
  7. 추론(reasoning). 추론은 출력 예산의 일부를 사용할 수 있습니다. max_tokens에 여유를 두세요. 자세한 내용: 추론 모델의 빈 응답 문제.
  8. 한도. 종량제 키는 분당 요청 30개, 동시 처리 4개까지 허용합니다. 플랜 세션은 한 번에 요청 1개를 처리합니다. Gemma 시간제 키는 스트림 1개, 분당 요청 120개, 분당 토큰 300,000개까지입니다.
  9. 컨텍스트. 컨텍스트에는 입력과 답변이 모두 포함됩니다. 모델의 한도는 모델 페이지에서 확인하세요.
  10. 오류. 아래 상태 코드를 재시도 또는 수정 조치에 대응시키고, X-Request-ID를 로그에 남기세요.
  11. 비용. 가격 계산기로 비용을 추정하세요. 종량제에서 이미지는 입력 토큰으로 계산됩니다.

어떤 오류를 재시도해야 하나요?

상태의미조치
400 / 422잘못된 요청 또는 필드요청을 수정하세요. 그대로 재시도하지 마세요
401키 누락, 무효, 만료, 또는 이용 한도 소진키와 계정을 확인하세요
402insufficient_balance충전한 뒤 재시도하세요
413요청이 바이트 또는 텍스트 한도를 초과함더 작게 보내세요(예: 더 작은 오디오 파일)
429속도, 동시 처리, 토큰 속도 또는 지출 한도상한을 둔 백오프 후 재시도하세요
500–504서버 측 문제상한을 둔 지수 백오프로 재시도하세요

레퍼런스의 오류 표 (영어)를 요약했습니다(2026-11-15 확인). 재시도 코드 예제.

전체 문서와 가이드는 어디에 있나요?

전용 엔드포인트나 목록에 없는 모델이 필요하신가요? BroadNet에 문의하기.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기