Pydantic AI adalah framework agen Python dari tim Pydantic. Untuk layanan yang belum punya provider bawaan, dokumentasinya menyarankan OpenAICompatibleProvider dengan base_url milik layanan itu. BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1, jadi itulah jalurnya. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Pydantic AI per versi 2.68.
Instalasi
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Menghubungkan
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Menjalankan kode ini sudah jadi tesnya: jika jawaban tercetak, kunci, URL, dan ID model sudah benar.
- Argumen pertama adalah ID model yang dikirim ke BroadNet. Tulis persis, lengkap dengan prefiks
broadnet/. - Nama provider (di sini
'broadnet') dicatat di setiap respons. Dokumentasi Pydantic AI menyarankan agar nama ini tidak diubah-ubah, karena nama inilah yang menentukan data mana dari respons sebelumnya yang dikirim balik ke layanan. - Tetap di
OpenAIChatModel. Menurut dokumentasi Pydantic AI,OpenAIResponsesModelhanya dipakai jika layanan mengimplementasikan Responses API. BroadNet tidak mencantumkannya.
Tools dan output terstruktur
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tools dan output terstruktur; dokumentasi BroadNet mencantumkan kedua fitur itu hanya untuk dua model ini.
Kapan perlu mengatur model profile
Pydantic AI memilih profil permintaan berdasarkan nama model. Jika sebuah fitur diabaikan atau ditolak, dokumentasinya menyarankan Anda memberikan OpenAIModelProfile sendiri. Ada dua pengaturan yang perlu diketahui untuk BroadNet:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Berikan batas output lewat model settings, misalnya agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, penalaran ikut dihitung dalam batas itu.
Model mana yang dipilih
| Agen | Model |
|---|---|
| Tools, output terstruktur | broadnet/glm-5.3 |
| Gambar atau teks Arab, dengan tools | broadnet/qwen3.8-27b |
| Dokumen panjang, paket harga tetap | broadnet/deepseek-v4.1-flash |
| Kredit awal gratis | broadnet/gemma-4-26b-a4b (konteks 32.768 token) |
Troubleshooting
- 401. Kunci salah, kedaluwarsa, atau jatahnya habis.
- 404 atau model tidak ditemukan.
base_urlharus diakhiri/v1. Periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4b. - Output kosong atau loop retry validasi. Penalaran menghabiskan jatah output. Naikkan
max_tokens. Kenapa jawaban kembali kosong. - 400 pada definisi tool. Atur
openai_supports_strict_tool_definition=Falsedi profile, dan gunakan model yang dicantumkan BroadNet dengan tools. - 429 saat menjalankan agen secara bersamaan. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Lihat error dan percobaan ulang.
