BroadRouter

Pydantic AI dengan BroadNet Inference (OpenAICompatibleProvider)

Diperbarui

Instal pydantic-ai-slim[openai], lalu buat OpenAIChatModel dengan ID model BroadNet seperti broadnet/glm-5.3 dan OpenAICompatibleProvider dengan base URL https://inference.broadnet.ai/v1 serta API key berisi kunci BroadNet Anda. Berikan model itu ke Agent. Gunakan OpenAIChatModel, bukan model Responses, karena BroadNet melayani chat completions. Menurut dokumentasi Pydantic AI, OpenAIProvider dengan base_url ditujukan untuk OpenAI sendiri.

Pydantic AI adalah framework agen Python dari tim Pydantic. Untuk layanan yang belum punya provider bawaan, dokumentasinya menyarankan OpenAICompatibleProvider dengan base_url milik layanan itu. BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1, jadi itulah jalurnya. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Pydantic AI per versi 2.68.

Instalasi

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Menghubungkan

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Menjalankan kode ini sudah jadi tesnya: jika jawaban tercetak, kunci, URL, dan ID model sudah benar.

  • Argumen pertama adalah ID model yang dikirim ke BroadNet. Tulis persis, lengkap dengan prefiks broadnet/.
  • Nama provider (di sini 'broadnet') dicatat di setiap respons. Dokumentasi Pydantic AI menyarankan agar nama ini tidak diubah-ubah, karena nama inilah yang menentukan data mana dari respons sebelumnya yang dikirim balik ke layanan.
  • Tetap di OpenAIChatModel. Menurut dokumentasi Pydantic AI, OpenAIResponsesModel hanya dipakai jika layanan mengimplementasikan Responses API. BroadNet tidak mencantumkannya.

Tools dan output terstruktur

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tools dan output terstruktur; dokumentasi BroadNet mencantumkan kedua fitur itu hanya untuk dua model ini.

Kapan perlu mengatur model profile

Pydantic AI memilih profil permintaan berdasarkan nama model. Jika sebuah fitur diabaikan atau ditolak, dokumentasinya menyarankan Anda memberikan OpenAIModelProfile sendiri. Ada dua pengaturan yang perlu diketahui untuk BroadNet:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Berikan batas output lewat model settings, misalnya agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, penalaran ikut dihitung dalam batas itu.

Model mana yang dipilih

Agen Model
Tools, output terstruktur broadnet/glm-5.3
Gambar atau teks Arab, dengan tools broadnet/qwen3.8-27b
Dokumen panjang, paket harga tetap broadnet/deepseek-v4.1-flash
Kredit awal gratis broadnet/gemma-4-26b-a4b (konteks 32.768 token)

Harga semua model.

Troubleshooting

  • 401. Kunci salah, kedaluwarsa, atau jatahnya habis.
  • 404 atau model tidak ditemukan. base_url harus diakhiri /v1. Periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Output kosong atau loop retry validasi. Penalaran menghabiskan jatah output. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • 400 pada definisi tool. Atur openai_supports_strict_tool_definition=False di profile, dan gunakan model yang dicantumkan BroadNet dengan tools.
  • 429 saat menjalankan agen secara bersamaan. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Lihat error dan percobaan ulang.

Pertanyaan umum

Untuk BroadNet, sebaiknya pakai OpenAIProvider atau OpenAICompatibleProvider?

OpenAICompatibleProvider. Menurut dokumentasi Pydantic AI, OpenAIProvider juga menerima base_url, tetapi ditujukan untuk OpenAI sendiri atau proxy transparan ke OpenAI, dan mengasumsikan model serta fitur OpenAI.

Kenapa memakai OpenAIChatModel dan bukan model OpenAI default?

Model OpenAI default di Pydantic AI memakai Responses API. BroadNet melayani chat completions di /v1/chat/completions, dan itulah yang dipanggil OpenAIChatModel.

Apakah tools dan output terstruktur berfungsi?

Ya, pada model yang dicantumkan BroadNet dengan tools dan output terstruktur, yaitu GLM 5.3 dan Qwen3.8 27B. Dokumentasi BroadNet tidak mencantumkan tools untuk DeepSeek V4.1 Flash, jadi uji dulu agen yang memakai tools di model itu.

Bagaimana menghentikan Pydantic AI mengirim max_completion_tokens?

Berikan profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) ke OpenAIChatModel. Pydantic AI lalu mengirim field max_tokens yang lebih lama, yaitu field yang dijelaskan referensi API BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity