BroadRouter

OpenAIModel で smolagents を BroadNet Inference で動かす

更新日

smolagents の OpenAIModel を、model_id に broadnet/glm-5.3 などの BroadNet の ID、api_base に https://inference.broadnet.ai/v1、api_key に BroadNet のキーを指定して作成し、CodeAgent か ToolCallingAgent に渡します。CodeAgent はネイティブのツール呼び出しではなく Python を書かせるので、DeepSeek V4.1 Flash でも動きます。ToolCallingAgent には GLM 5.3 か Qwen3.8 27B が必要です。

smolagents は、Hugging Face が提供するエージェント用の小さな Python ライブラリです。OpenAIModel クラスは “connects to an OpenAI-compatible API server”(訳:OpenAI 互換の API サーバーに接続する)もので、URL は api_base で指定します。BroadNet Inference は https://inference.broadnet.ai/v1 で chat completions を提供しているので、そのまま使えます。BroadRouter は BroadNet 自身のサイトです。このガイドは smolagents 1.26.0 のドキュメントに基づいています。

インストール

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent はモデルに <code> タグで囲んだ Python を書かせ、それをローカルで実行します。リクエストは </code> などの停止シーケンスを付けた通常の chat completion で、tools フィールドはありません。つまりネイティブのツール呼び出しに依存しないので、BroadNet の無制限プランのモデルである broadnet/deepseek-v4.1-flash でも動きます。ただし、コードの品質はモデルによって異なるので、自分のタスクでテストしてください。

CodeAgent はモデルが書いたコードを実行します。ファイル、ネットワーク、認証情報に触れるツールを与える前に、smolagents の安全なコード実行に関するガイダンスを読んでください。

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent は、あなたのツールと独自の final_answer ツールを関数スキーマとして送り、tool_choice: "required" を指定します。broadnet/glm-5.3 か broadnet/qwen3.8-27b を使ってください。BroadNet のドキュメントでツール対応が記載されているのはこの 2 つのモデルだけです。

モデルの選び方

エージェント モデル
CodeAgent、定額プランでの長時間の実行 broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
どちらのエージェントでも、画像入力を使う場合 broadnet/qwen3.8-27b

プランのセッションは同時に 1 リクエストを処理し、エージェントはステップを 1 つずつ順番に送るので、1 つのセッションに 1 つのエージェントがちょうど合います。全モデルの料金。

テスト方法

2026-11-15 に、クリーンな仮想環境に smolagents 1.26.0 をインストールし、BroadNet の chat completions の形式で応答するローカルのモックサーバーに対して両方のエージェントを実行しました。DeepSeek の ID を使った CodeAgent は、コードを含む応答を受け取って実行し、42 を返しました。そのリクエストには max_tokens: 4000 と停止シーケンスが付いており、ツールはありませんでした。ToolCallingAgent についてはリクエストの形式を確認しました。モデル ID はそのまま送られ、2 つのツールスキーマと tool_choice: "required" が付いていました。smolagents はツールの結果を user メッセージとして送り返します。私たちのモックはこの形式に対応していなかったため、このエージェントを最終回答まで実行してはいません。BroadNet のキーは持っていなかったため、実際のモデル出力はテストしていません。

トラブルシューティング

  • 401。 キーが間違っているか、期限切れか、利用枠を使い切っています。
  • 404。 api_base は /v1 で終わっている必要があります。モデル ID も確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • 「Make sure to provide correct code blobs」。 モデルの応答にコードブロックがありませんでした。推論は max_tokens に含まれるので上限を上げるか、別のモデルを試してください。回答が空で返ってくる理由。
  • ToolCallingAgent が終わらない。 broadnet/glm-5.3 か broadnet/qwen3.8-27b に切り替えてください。
  • 429。 従量課金のキーでは 1 分あたり 30 リクエストまでです。smolagents は requests_per_minute で自分でリクエストのペースを抑えられます。エラーとリトライを参照してください。

よくある質問

OpenAIModel と OpenAIServerModel のどちらを使いますか?

smolagents 1.26 のドキュメントでは、OpenAI 互換サーバー全般に OpenAIModel を使うと説明しています。OpenAIServerModel もパッケージからエクスポートされていますが、ドキュメントで説明されているのは OpenAIModel です。

smolagents は BroadNet の無制限プランで動きますか?

プランの対象は DeepSeek V4.1 Flash です。BroadNet はこのモデルのツール呼び出しを記載していませんが、CodeAgent はネイティブのツール呼び出しを必要とせず、モデルに Python コードを書かせます。私たちのモックテストでは、DeepSeek の ID を使った CodeAgent は tools フィールドのない通常のチャットリクエストを送りました。

ToolCallingAgent に GLM 5.3 か Qwen3.8 27B が必要なのはなぜですか?

ツールを OpenAI の関数スキーマとして送り、tool_choice を required にするためです。BroadNet のドキュメントでツール対応が記載されているのは GLM 5.3 と Qwen3.8 27B だけです。

max_tokens や temperature はどう渡しますか?

OpenAIModel のキーワード引数として渡します。smolagents のドキュメントによると、追加の引数はすべての補完呼び出しに転送されます。私たちのテストでは、すべてのリクエストに max_tokens=4000 が付いていました。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く