BroadRouter

Vercel AI SDK で BroadNet Inference を使う

更新日

ai と @ai-sdk/openai-compatible をインストールし、name を broadnet、baseURL を https://inference.broadnet.ai/v1、apiKey を BroadNet のキーにして createOpenAICompatible を呼び出します。プロバイダーに broadnet/glm-5.3 などの BroadNet のモデル ID を渡し、generateText や streamText をいつもどおり使います。キーはサーバー側に置き、推論モデルには maxOutputTokens を十分に与えてください。

Vercel の AI SDK は、LLM アプリ向けの TypeScript ツールキットです。@ai-sdk/openai-compatible パッケージは、OpenAI の chat completions 形式に従う任意の API 用のプロバイダーを作成します。BroadNet Inference もこの形式に従っているので、変えるのはベース URL、キー、モデル ID だけです。素の OpenAI クライアントを使う場合は、Node SDK のガイドを参照してください。

設定手順

  1. パッケージをインストールします。 執筆時点で npm から入るのは ai 7.x と @ai-sdk/openai-compatible 3.x です。

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. プロバイダーを作成します。

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. テキストを生成します。

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);

コード内の英語のコメントは、それぞれ「ストリーミングのレスポンスに使用量のデータを含める」「推論もこの上限に含まれる」という意味です。

  1. ストリーミングにします。 generateText を streamText に替えて、textStream を読み取ります。その下で使われている通信形式はストリーミングのガイドで説明しています。

渡した name はプロバイダーオプションとプロバイダーメタデータのキーになるので、短く、変わらない名前にしてください。provider('id') と provider.chatModel('id') はどちらもチャットモデルを作成し、モデルごとの個別の設定はありません。キーはサーバー側に置いてください。このファイルをブラウザで動くコードに import すると、キーがすべての訪問者に送られてしまいます。

プロバイダーのドキュメントでは、対応機能としてテキスト生成、ストリーミング、ツール呼び出し、構造化出力、推論の内容、画像入力が挙げられており、一部はプロバイダー次第と注記されています。BroadNet では、DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B が画像入力に対応し、GLM 5.3 はテキストのみです。

設定しておきたいオプション

  • reasoningEffort。 プロバイダー名をキーにして providerOptions で渡します。AI SDK のドキュメントによると、指定できる値はプロバイダーによって異なります。BroadNet のドキュメントには low が載っています。
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs。 AI SDK は、プロバイダーでこれが true のときだけ JSON スキーマを送ります。BroadNet が構造化出力を記載しているのは GLM 5.3 と Qwen3.8 27B です。オンにする場合は、スキーマ付きの出力にはこれらのモデルを使ってください。
  • maxRetries。 generateText はデフォルトで 2 回リトライします。レート制限に合わせて設定してください。
  • 推論の出力。 プロバイダーが推論の内容を返すと、AI SDK はそれを読み取ります。トップレベルの結果フィールド reasoningText は非推奨となり、finalStep.reasoningText に置き換えられています。推論の内容が必ずあることを前提にしたロジックは組まないでください。

モデルの選び方

用途 モデル コンテキスト
ツール呼び出し、構造化出力 broadnet/glm-5.3 1,048,576
画像とツール、アラビア語 broadnet/qwen3.8-27b 262,144
長いコンテキスト、定額プラン broadnet/deepseek-v4.1-flash 1,048,576
安価なテキストと画像の呼び出し broadnet/gemma-4-26b-a4b 32,768

各モデルのトークン単価は料金ページにあります。

トラブルシューティング

  • 401。 実行環境に BROADNET_API_KEY がない(ホスティング先の環境変数の設定を確認してください)、キーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。
  • providerOptions が無視される。 キーはプロバイダーの name をキャメルケースにしたものと一致している必要があります。name: 'broadnet' なら providerOptions.broadnet を使います。
  • モデルのエラー。 ID は broadnet/ プレフィックスを含めて BroadNet のものと完全に一致している必要があります。GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash にはチャージが必要です。$5 の初回クレジットで使えるのは Gemma 4 VL 26B と 2 つの Transcribe モデルです。
  • テキストが空で finishReason が “length”。 推論が予算を使い切っています。maxOutputTokens を上げるか、reasoningEffort を下げてください。回答が空になる理由。
  • 負荷がかかると 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。サーバーレス関数はすぐにスケールアウトするので、アプリ側で同時実行数に上限を設けてください。エラーとリトライを参照してください。
  • プランのキーでエージェントを並列に動かす場合。 1 つの無制限プランのセッションは同時に 1 リクエストしか処理しません。Promise.all で複数のエージェントを動かすなら、エージェントごとに 1 セッションが必要です。そうしないとリクエストは待ち行列に入ります。

よくある質問

@ai-sdk/openai と @ai-sdk/openai-compatible のどちらを使えばよいですか?

サードパーティの OpenAI 互換 API には @ai-sdk/openai-compatible を使ってください。これは chat completions のエンドポイントを呼び出し、BroadNet Inference が提供しているのもこのエンドポイントです。

生成されたテキストが空になるのはなぜですか?

BroadNet では推論が max_tokens に含まれます。maxOutputTokens が小さいと、回答を書き始める前にモデルが使い切ることがあります。値を上げるか、reasoningEffort を low にしてください。

ストリーミング中にトークンの使用量を取得するには?

プロバイダーの作成時に includeUsage を true にしてください。AI SDK のドキュメントによると、ストリーミングのレスポンスに使用量のデータが追加されます。デフォルトは false です。

BroadNet のモデルごとに個別の設定が必要ですか?

いいえ。1 つの createOpenAICompatible プロバイダーですべてのモデルを扱えます。任意の BroadNet チャットモデルの ID で broadnet('model-id') または broadnet.chatModel('model-id') を呼び出してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く