BroadNet Inference 계정에서 발급한 추론 키가 필요합니다. 새 계정은 카드 없이 초기 크레딧($5)으로 시작합니다. Python을 쓴다면 Python SDK 가이드를 참고하세요.
1. 설치하고 키 설정하기
현재 openai 패키지(7.x)는 Node.js 22 이상이 필요합니다.
npm install openai
export BROADNET_API_KEY='paste-the-key-once'
2. 첫 요청
다음 코드를 first-request.mjs로 저장하고 node first-request.mjs로 실행하세요.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const response = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(response.choices[0].message.content);
broadnet/gemma-4-26b-a4b 모델은 무료 크레딧으로 작동합니다. 무제한 플랜 모델을 쓰려면 broadnet/deepseek-v4.1-flash 모델을 지정하고 max_tokens를 1,000 이상으로 설정하세요. 이 모델의 추론도 한도에 포함되기 때문입니다. 답변이 비어 있는 이유를 참고하세요.
3. 토큰 스트리밍하기
const stream = await client.chat.completions.create({
model: "broadnet/deepseek-v4.1-flash",
stream: true,
stream_options: { include_usage: true },
messages: [{ role: "user", content: "Count from one to three." }],
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
if (chunk.usage) console.log("\n", chunk.usage);
}
4. 요청 ID 로깅하기
const { data, request_id } = await client.chat.completions
.create({ model: "broadnet/gemma-4-26b-a4b", messages: [{ role: "user", content: "Hi" }] })
.withResponse();
console.log(request_id, data.choices[0].message.content);
SDK는 x-request-id 헤더에서 request_id를 읽습니다. 파싱된 응답에도 data._request_id로 들어 있습니다.
이 ID를 UTC 시각, 경로, 상태 코드와 함께 보관하세요. BroadNet 지원팀이 이 정보를 요청합니다. 오류 코드와 재시도 시점을 참고하세요.
문제 해결
- 401. 키가 틀렸거나, 만료되었거나, 종량제 사용 가능 금액이 소진되었습니다.
BROADNET_API_KEY가 설정되지 않으면apiKey가undefined가 되어 SDK가OPENAI_API_KEY를 대신 쓰고, 그것도 없으면 예외를 던집니다. - 404.
baseURL이/v1로 끝나는지,responses가 아니라chat.completions를 호출하는지 확인하세요. 그다음broadnet/접두사를 포함한 모델 ID를 확인하세요. - 새 계정에서 유료 모델 호출 실패. 초기 크레딧($5)은 BroadNet Gemma 4 VL 26B(
broadnet/gemma-4-26b-a4b)와 BroadNet Transcribe 모델 2종에 적용됩니다. 다른 채팅 모델(DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B)을 쓰려면 충전하세요. - 비어 있는
content. 추론은max_tokens에 포함됩니다. 값을 늘리거나 지정하지 마세요. 답변이 비어 있는 이유를 참고하세요. - 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. SDK는 기본적으로 두 번 재시도하며, 클라이언트의
maxRetries로 조정할 수 있습니다. 스트림이 끊기는 경우는 채팅 완성 스트리밍을 참고하세요.
