BroadRouter

smolagents'ı OpenAIModel ile BroadNet Inference'ta çalıştırın

Güncellendi

smolagents'ın OpenAIModel sınıfını model_id değeri broadnet/glm-5.3 gibi bir BroadNet kimliği, api_base değeri https://inference.broadnet.ai/v1 ve api_key değeri BroadNet anahtarınız olacak şekilde oluşturun, ardından CodeAgent veya ToolCallingAgent'a verin. CodeAgent yerel araç çağrıları yerine Python yazar, bu yüzden DeepSeek V4.1 Flash'ta çalışabilir. ToolCallingAgent için GLM 5.3 veya Qwen3.8 27B gerekir.

smolagents, Hugging Face’in ajanlar için küçük Python kütüphanesidir. OpenAIModel sınıfı “connects to an OpenAI-compatible API server” (çeviri: OpenAI uyumlu bir API sunucusuna bağlanır) ve URL için api_base kullanır. BroadNet Inference https://inference.broadnet.ai/v1 adresinde chat completions sunar, bu yüzden doğrudan çalışır. BroadRouter, BroadNet’in kendi sitesidir; bu rehber smolagents 1.26.0 belgelerini izler.

Kurulum

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent, modelden <code> etiketleri arasında Python yazmasını ister ve kodu yerelde çalıştırır. İstek, </code> gibi durdurma dizileri içeren ve tools alanı olmayan düz bir chat completion’dır. Yani yerel araç çağırmaya bağlı değildir; bu sayede BroadNet’in sınırsız planlarındaki model olan broadnet/deepseek-v4.1-flash üzerinde çalışabilir. Kod kalitesi yine de modele göre değişir, kendi görevlerinizle test edin.

CodeAgent, modelin yazdığı kodu çalıştırır. Dosyalara, ağlara veya kimlik bilgilerine dokunan araçlar vermeden önce smolagents’ın güvenli kod çalıştırma rehberini okuyun.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent, sizin araçlarınızı ve kendi final_answer aracını tool_choice: "required" ile fonksiyon şemaları olarak gönderir. broadnet/glm-5.3 veya broadnet/qwen3.8-27b kullanın; BroadNet’in belgeleri araçları yalnızca bu iki model için listeler.

Hangi modeli seçmeli

Ajan Model
CodeAgent, sabit fiyatlı planda uzun çalışmalar broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Görsel girdili her iki ajan broadnet/qwen3.8-27b

Bir plan oturumu aynı anda tek istek çalıştırır ve bir ajan adımlarını art arda gönderir; dolayısıyla bir oturum bir ajana yeter. Tüm modellerin fiyatları.

Bunu nasıl test ettik

2026-11-15’te temiz bir sanal ortama smolagents 1.26.0 kurduk ve iki ajanı da BroadNet’in chat completions yapısını konuşan yerel bir sahte sunucuya karşı çalıştırdık. DeepSeek kimliğiyle çalışan CodeAgent bir kod yanıtı aldı, onu çalıştırdı ve 42 döndürdü. İsteklerinde max_tokens: 4000, durdurma dizileri vardı ve araç yoktu. ToolCallingAgent için istek yapısını kontrol ettik: model kimliği değiştirilmeden, iki araç şemasıyla ve tool_choice: "required" ile gönderildi. smolagents araç sonuçlarını user mesajları olarak geri gönderir. Sahte sunucumuz bu biçimi izlemediği için o ajanı nihai yanıta kadar çalıştırmadık. Elimizde BroadNet anahtarı yoktu, bu yüzden gerçek model çıktısını test etmedik.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş ya da kullanım hakkı tükenmiş.
  • 404. api_base değeri /v1 ile bitmelidir. Model kimliğini kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredisi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • “Make sure to provide correct code blobs”. Modelin yanıtında kod bloğu yoktu. Akıl yürütme max_tokens sınırına dahil olduğu için değeri artırın ya da başka bir model deneyin. Yanıtlar neden boş geliyor.
  • ToolCallingAgent hiç bitmiyor. broadnet/glm-5.3 veya broadnet/qwen3.8-27b modeline geçin.
  • 429. Kullandıkça öde anahtarı dakikada 30 isteğe izin verir. smolagents requests_per_minute ile kendi hızını sınırlayabilir. Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

OpenAIModel mi, OpenAIServerModel mi?

smolagents 1.26, OpenAI uyumlu her sunucu için OpenAIModel'i belgeler. OpenAIServerModel paket tarafından hâlâ dışa aktarılır ama belgeler OpenAIModel'i anlatır.

smolagents BroadNet sınırsız planında çalışır mı?

Planlar DeepSeek V4.1 Flash'ı kapsar. BroadNet bu model için araç çağırmayı listelemez, ancak CodeAgent yerel araç çağrılarına ihtiyaç duymaz; modelden Python kodu ister. Sahte sunucu testimizde DeepSeek kimliğiyle çalışan bir CodeAgent, tools alanı olmayan düz sohbet istekleri gönderdi.

ToolCallingAgent neden GLM 5.3 veya Qwen3.8 27B gerektiriyor?

Araçları tool_choice değeri required olan OpenAI fonksiyon şemaları olarak gönderir. BroadNet'in belgeleri araçları yalnızca GLM 5.3 ve Qwen3.8 27B için listeler.

max_tokens veya temperature nasıl verilir?

OpenAIModel'e anahtar kelime argümanı olarak. smolagents'ın belgeleri ek argümanların her completion çağrısına iletildiğini söyler. Testimizde max_tokens=4000 her istekte gönderildi.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor