Vercel의 AI SDK는 LLM 앱을 위한 TypeScript 툴킷입니다. 이 SDK의 @ai-sdk/openai-compatible 패키지는 OpenAI chat completions 형식을 따르는 API라면 어떤 것이든 제공자로 만들어 줍니다. BroadNet Inference도 이 형식을 따르므로 base URL, 키, 모델 ID만 바꾸면 됩니다. 일반 OpenAI 클라이언트를 쓰려면 Node SDK 가이드를 참고하세요.
설정
-
패키지를 설치합니다. 이 글을 쓰는 시점에 npm의 최신 버전은
ai7.x와@ai-sdk/openai-compatible3.x입니다.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
제공자를 만듭니다.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses });
includeUsage: true는 주석대로 스트리밍 응답에 사용량 데이터를 넣어 줍니다.
-
텍스트를 생성합니다.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
스트리밍합니다.
generateText를streamText로 바꾸고textStream을 읽으세요. 그 아래에서 오가는 데이터 형식은 스트리밍 가이드에서 설명합니다.
넘긴 name은 제공자 옵션과 제공자 메타데이터의 키가 되므로 짧고 바뀌지 않는 이름으로 정하세요. provider('id')와 provider.chatModel('id')는 둘 다 채팅 모델을 만들며, 모델마다 따로 설정할 필요는 없습니다. 키는 서버에만 두세요. 이 파일을 브라우저에서 실행되는 코드로 가져오면 모든 방문자에게 키가 전달됩니다.
제공자 문서는 텍스트 생성, 스트리밍, 도구 호출, 구조화된 출력, 추론 콘텐츠, 이미지 입력을 지원 기능으로 나열하면서, 일부는 제공업체에 따라 다르다고 밝힙니다. BroadNet에서는 DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B가 이미지 입력을 받습니다. GLM 5.3은 텍스트만 받습니다.
설정해 둘 만한 옵션
- reasoningEffort. 제공자 이름을 키로 해서
providerOptions로 넘기세요. AI SDK 문서는 정확한 값이 제공업체에 따라 다르다고 하며, BroadNet 문서에는low가 나옵니다.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK는 제공자에서 이 값이
true일 때만 JSON 스키마를 보냅니다. BroadNet은 GLM 5.3과 Qwen3.8 27B에 구조화된 출력을 표기합니다. 이 옵션을 켠다면 스키마 출력에는 이 두 모델을 쓰세요. - maxRetries.
generateText는 기본적으로 두 번 재시도합니다. 속도 제한에 맞게 조정하세요. - 추론 출력. AI SDK는 제공업체가 추론 콘텐츠를 반환하면 읽어 들입니다. 최상위 결과 필드
reasoningText는 이제 deprecated로 표시되어 있으며finalStep.reasoningText사용이 권장됩니다. 추론 내용이 있다는 전제에 의존하는 로직은 만들지 마세요.
어떤 모델을 고를까
| 필요 | 모델 | 컨텍스트 |
|---|---|---|
| 도구 호출, 구조화된 출력 | broadnet/glm-5.3 |
1,048,576 |
| 이미지와 도구, 아랍어 | broadnet/qwen3.8-27b |
262,144 |
| 긴 컨텍스트, 정액제 플랜 | broadnet/deepseek-v4.1-flash |
1,048,576 |
| 저렴한 텍스트·이미지 호출 | broadnet/gemma-4-26b-a4b |
32,768 |
모델별 토큰당 가격은 가격 페이지에 있습니다.
문제 해결
- 401. 런타임에
BROADNET_API_KEY가 없거나(호스팅 업체의 환경 변수 설정을 확인하세요), 틀렸거나, 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. - providerOptions가 무시됨. 키는 제공자의
name을 camelCase로 쓴 것과 같아야 합니다.name: 'broadnet'이라면providerOptions.broadnet을 쓰세요. - 모델 오류. ID는
broadnet/접두사까지 포함해 BroadNet의 ID와 정확히 같아야 합니다. GLM 5.3, Qwen3.8 27B, DeepSeek V4.1 Flash는 충전이 필요하며, 초기 크레딧($5 상당)으로는 Gemma 4 VL 26B와 Transcribe 모델 두 개만 쓸 수 있습니다. - 텍스트가 비어 있고 finishReason이 “length”. 추론이 예산을 다 썼습니다.
maxOutputTokens를 늘리거나reasoningEffort를 낮추세요. 답변이 비어서 오는 이유를 참고하세요. - 부하가 걸릴 때 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 서버리스 함수는 빠르게 확장되므로 앱에서 동시 실행 수에 상한을 두세요. 오류와 재시도를 참고하세요.
- 플랜 키로 에이전트 병렬 실행. 무제한 플랜 세션 하나는 한 번에 요청 하나를 처리합니다. 여러 에이전트를
Promise.all로 돌리려면 에이전트마다 세션이 하나씩 필요하며, 그렇지 않으면 요청이 대기열에 쌓입니다.
