BroadRouter

専用エンドポイントはワークロードの明確化から始まる

BroadNet Inference チーム · 約 7 分で読めます · 公開日

専用エンドポイントを依頼する前に、ワークロードを書き出します。1 日とピーク時のリクエスト数、入出力のトークン、そこから導く同時実行数、必要なコンテキスト、処理リージョン、モデルとライセンス、予算です。リージョンと上限は書面で合意し、実データを流す前に発行されたエンドポイントをスモークテストします。

「専用エンドポイントが必要です」は会話の始まりであって、仕様ではありません。あなたの数字がなければ、プロバイダーはキャパシティの規模も配置も価格も決められませんし、あなたもその回答を判断できません。この記事では、依頼する前に決めておくべきことを、請求書データ抽出の具体例を使って一覧にし、最後に受け取ったエンドポイントを確認するスクリプトを紹介します。

内容はどのプロバイダーにも当てはまります。BroadNet の提供内容に触れる部分は、2026 年 11 月 15 日に確認した BroadNet の公開情報だけに基づいています。それを超えることは BroadNet に問い合わせるべき事項です。

専用エンドポイントが意味を持つのはどんなときですか?

通常は次の 4 つのいずれかが理由です。

  • **セルフサービスの上限を超えるトラフィック。**BroadNet の API リファレンスでは、従量課金キーの上限を 1 分あたり 30 リクエスト、同時 4 リクエストと公開しています。これを恒常的に超えるワークロードは、再試行ではなくキャパシティの問題です(短いバーストは 429 への対処で扱っています)。
  • **公開リストにないモデル。**BroadNet のカタログでは、Qwen3-VL 30B-A3B、Qwen3-VL 8B、BroadNet による Cohere Transcribe Arabic のファインチューニング版など、一部のモデルが “available on request”(要相談)とされています。違いはモデルカタログの読み方で説明しています。
  • 自分で管理しなければならない処理場所。サウジアラビアと UAE の PDPL チェックリストにあるようなデータレジデンシーの規則では、書面で合意したリージョンが求められることがあります。
  • **予測可能なレイテンシ。**共有キャパシティはほかのユーザーの負荷で変動します。予約キャパシティはその変動要因をなくしますが、ネットワークの距離や自分のプロンプトのサイズまではなくせません。

どれにも当てはまらないなら、セルフサービスのキーのほうがシンプルです。また、量が非常に多く安定しているなら、自分で運用する場合と比べてください。方法はセルフホストと API のコスト比較にあります。

ワークロードについて何を決めておくべきですか?

1 ページの概要書を書きます。プロバイダーが必要とするのは次の数字です。

項目 書くこと 例
タスク モデルが何をするか、1 文で 請求書の写真を読み取り、JSON のフィールドを返す
量 1 日のリクエスト数と、最も忙しい 1 時間の割合 1 日 40,000 件、ピークの 1 時間に 15%
トークン 入力と出力のトークンの平均と 95 パーセンタイル 入力 1,800(画像 1 ページ + プロンプト)、出力 350
コンテキスト 1 リクエストの最大値(プロンプトと回答の合計) 4,000 トークン
レイテンシ 許容できる最初のトークンまでの時間と回答完了までの時間 10 秒以内に回答完了
ストリーミング 必要かどうか 不要(バッチ型)
入力 テキスト、画像、音声。形式とサイズ JPEG と PNG、各 1 ページ
言語 どの言語で、それぞれの割合は アラビア語と英語、60/40
成長 6 か月後と 12 か月後の見込み量 12 か月で 2 倍

トークン数は推測ではなく、実際のサンプルで測ってください。同じテキストでも、アラビア語は英語より多くのトークンを必要とすることがよくあります。トークナイザーごとの差はアラビア語トークンカウンターと言語別の実コストで確認できます。画像は画像トークン計算ツールで最初の見積もりが出せます。

量を毎秒トークン数と同時実行数にどう換算しますか?

ピーク時の毎秒リクエスト数は、最も忙しい 1 時間の量を 3,600 で割ったものです。同時実行数、つまり同時に処理中のリクエスト数はリトルの法則から導けます。システム内の平均の数は、到着率に各要素がシステム内にとどまる平均時間を掛けたものに等しい、という法則です。API に当てはめると、毎秒リクエスト数 × 1 リクエストあたりの秒数になります。

import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))

出力は、ピーク時に毎秒 1.67 リクエスト、1 リクエストあたり約 5.8 秒、同時リクエスト 10 件、毎秒 3,000 入力トークンと 583 出力トークン、月 25 億 8,000 万トークンでした。1 ストリームあたり毎秒 60 トークンは例のための仮定です。速度はモデル、プロンプトの長さ、負荷によって変わるので、実際に使うモデルで自分で測ってください。何を計測すべきかはレイテンシ、TTFT、スループットの記事で説明しています。

注意点が 2 つあります。この式はプロンプトの処理時間を無視しているので、長いプロンプトや大きな画像があると実際のリクエストは遅くなり、同時実行数が増えます。また、平均はバーストを隠します。平均だけでなく、95 パーセンタイルのリクエストサイズと短いバーストのプロファイルもプロバイダーに伝えてください。この例のピーク(1 分あたり約 100 リクエスト、同時 10 件)は、従量課金キー 1 つの公開されたセルフサービスの上限を大きく上回っています。まさにキャパシティについて話し合う価値があるタイミングです。

リージョン、データレジデンシー、上限はどうしますか?

規制対象のデータを動かす前に、明示的に書面で合意してください。BroadNet の利用規約(§7.3a)には “Contact us to agree processing locations for your deployment before sending data with residency requirements”(訳:レジデンシー要件のあるデータを送る前に、デプロイメントの処理場所について合意するため当社に連絡してください)とあり、パートナーのホスティングやバックアップでの処理にはほかの処理者が関わること、最新のサブプロセッサー一覧は顧客の求めに応じて提供されることも記載されています。プライバシー声明によれば、BroadNet 自身のモデルとホストしているオープンウェイトモデルは、米国にある BroadNet の所有またはリースのハードウェアで動いており、パートナーのキャパシティがバックアップです。概要ページには、MENA や欧州でのリージョン指定の処理は要相談とあります。

したがって、どのプロバイダーにも次のことを確認します。

  1. どのリージョンがリクエストを処理し、どのリージョンがバックアップのキャパシティを持つのか。
  2. フェイルオーバーやオーバーフローの場合も含め、どのサブプロセッサーがトラフィックに触れうるのか。
  3. エンドポイントのレート、同時実行数、トークンの上限はいくつで、それを超えるとどうなるのか。
  4. どんな可用性とサポートの条件が適用され、それはどこに書かれているのか。BroadNet の利用規約(§7.4)は、セルフサービスには可用性の約束がなく、専用エンドポイントと予約キャパシティは別途の書面契約に従うとしています。ほかのプロバイダーの書面の SLA が何をカバーしているかは、LLM API の SLA 比較を読んでください。
  5. 何が保持されるのか。BroadNet の推論 API について公開されている立場は、推論の内容は保持せず、必要なアカウント、請求、セキュリティのメタデータはプライバシー声明に記載のとおり保持する、というものです。同じことが自分のエンドポイントにも当てはまるか確認してください。

どのモデルを、どのライセンスで使いますか?

正確なモデルとバージョンを指定し、そのライセンスが自分の用途と API での提供を認めているか確認してください。BroadNet のモデルページでは、Gemma 4 26B、Qwen3-VL 30B-A3B、Cohere Transcribe のベースの重みが Apache-2.0 とされ、BroadNet による Cohere Transcribe Arabic のファインチューニング版は “under contract”(契約に基づく)とされています。利用規約では、モデルはそれぞれのライセンスに従うこと、DeepSeek V4.1 Flash をパートナーがホストする場合もそのライセンスが適用されることが記載されています。

コンテキストウィンドウも合意しておきます。コンテキストの上限はベースモデルの最大値だけでなく、モデルとデプロイメントによって決まります。BroadNet は公開 API の Gemma 4 VL 26B を 32K トークン、要相談の Qwen3-VL 30B-A3B を 16K としています。コンテキストウィンドウ計算ツールでは、平均ではなく最大のリクエストで確認してください。

予算はどう決めますか?

BroadNet は専用エンドポイントの価格を公開していません。概要ページには “Reserved GPU, priced to your traffic. Ask for a quote.”(訳:予約 GPU、トラフィックに応じた価格。見積もりをご依頼ください)とあります。ですから、まず自分の上限を決めてください。サイジングのスクリプトで出した月間トークン数を使い、LLM API コスト計算ツールで同じワークロードをセルフサービスの価格で見積もり、そのうえで予測可能なキャパシティ、リージョン、非公開のモデルに上乗せでいくら払う価値があるかを決めます。セルフサービスの金額を下回る見積もりなら儲けものです。それを大きく上回る見積もりには、要件リストのどこかに理由が必要です。

問い合わせはどう送りますか?

BroadNet の API リファレンスには “Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(訳:専用エンドポイント、当社のアラビア語ファインチューニングモデル、その他の要相談モデルは、エンドポイントとともに発行されるプライベート ID で利用します)とあります。概要ページは “your model, languages and traffic requirements”(訳:モデル、言語、トラフィックの要件)を求めています。1 ページの概要書をお問い合わせページから送ってください。API キーや顧客データは含めないでください。サイジングの出力、リージョン、モデルとライセンス、レイテンシの目標、予算の上限、スケジュールを含めます。

受け取ったエンドポイントはどう検証しますか?

本番のトラフィックを流す前に、合意した内容に照らしてエンドポイントをテストします。このスクリプトは Python の標準ライブラリだけを使います。プライベートなモデル ID が機能するか、ストリーミングが BroadNet のドキュメントに記載された data: [DONE] マーカーで終わるか、合意した同時実行数で 429 が出ないか、誤ったモデル ID が拒否されるかを確認します。

import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())

同時 8 リクエストまで受け付けるローカルのモックサーバー(実際のエンドポイントではありません)に対して実行しました。AGREED_CONCURRENCY=8 では 4 つのチェックすべてが合格しました。12 にすると同時実行のチェックが失敗し、200 が 8 件、429 が 4 件でした。これこそ、リリース後ではなくリリース前に見ておきたい結果です。max_tokens=1000 は、回答の前に予算の一部を使う推論モデルのための余裕です。

スモークテストの後は、実際のサイズのプロンプトを使い、測定したピークで短い負荷テストを行い、エンドポイントの最初のトークンまでの時間と回答完了までのレイテンシを記録します。リクエスト ID は保存しておいてください。BroadNet のドキュメントは、サポートへの問い合わせに X-Request-ID、タイムスタンプ、ルート、ステータスを含めるよう求めています。

BroadNet Inference の位置付け

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference は、公開モデルへのセルフサービスのアクセスを、トークン単位、音声の分単位、セッションプラン、時間制キーで販売しています。料金は料金ページにあります。専用エンドポイント、リージョン指定の処理、ファインチューニングモデル、“on request”(要相談)とされたモデルはセルフサービスではなく、BroadNet が見積もって書面で合意する問い合わせ案件です。この記事では、BroadNet があなたのワークロードに何を提供するかは分かりません。それを知る方法が、明確な概要書なのです。

よくある質問

LLM の専用エンドポイントとは何ですか?

すべてのセルフサービスのユーザーと共有するのではなく、1 社のために予約されたキャパシティで動く API エンドポイントです。BroadNet は自社の専用エンドポイントを、選んだモデルを載せた予約 GPU またはノードで、専用のキーと上限、必要なリージョンを備え、プライベートなモデル ID で利用するものと説明しています。

必要な同時実行数はどう見積もりますか?

リトルの法則を使います。同時リクエスト数 = ピーク時の毎秒リクエスト数 × 1 リクエストあたりの秒数。毎秒 1.67 リクエストで 1 件約 5.8 秒なら、処理中のリクエストは約 10 件です。1 リクエストあたりの秒数は、実際のモデルと実際のプロンプトで測ってください。

BroadNet の専用エンドポイントはセルフサービスで購入できますか?

できません。BroadNet は専用エンドポイント、リージョン指定の処理、非公開のモデルを問い合わせ扱いにしており、ワークロードを伝えると BroadNet が見積もります。利用規約では、専用エンドポイントと予約キャパシティは別途の書面契約に従うとされています。

専用エンドポイントには SLA が付きますか?

書面契約にそう書かれている場合だけです。BroadNet の利用規約は、セルフサービスには可用性の約束がなく、サービスレベルは別途の書面契約の中にのみ存在するとしています。あてにする前に、正確な条件を確認してください。

データはどこで処理されますか?

データを送る前に合意してください。BroadNet の利用規約は、データレジデンシーの要件がある顧客にまず処理場所を合意するよう求めており、パートナーのホスティングやバックアップでの処理にはほかの処理者が関わること、サブプロセッサーの一覧は顧客の求めに応じて提供されることを記載しています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く