BroadRouter

LlamaIndex über OpenAILike mit BroadNet Inference nutzen

Aktualisiert

Installieren Sie llama-index-llms-openai-like und erstellen Sie OpenAILike mit model auf einer BroadNet-ID wie broadnet/glm-5.3, api_base auf https://inference.broadnet.ai/v1, Ihrem BroadNet-Schlüssel, context_window mit dem echten Kontext des Modells, is_chat_model=True und is_function_calling_model=True nur für GLM 5.3 oder Qwen3.8 27B. Setzen Sie es als Settings.llm, um es überall zu nutzen.

LlamaIndex ist ein Python-Framework für RAG und Agenten. Für jede OpenAI-kompatible API, die nicht OpenAI selbst ist, bringt es die Klasse OpenAILike mit. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 standardmäßige Chat Completions bereit. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der LlamaIndex-API-Referenz für llama-index-llms-openai-like 0.9.0.

Installation

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Verbinden und testen

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Wird eine Antwort ausgegeben, funktionieren Schlüssel, URL und Modell-ID.

Die vier wichtigen Einstellungen

Parameter Setzen auf Standard, wenn nicht gesetzt
is_chat_model True False, das den alten Completions-Endpoint nutzt; BroadNet stellt Chat Completions bereit
context_window den echten Kontext des Modells 3.900 Token
is_function_calling_model True nur für GLM 5.3 oder Qwen3.8 27B False
max_tokens 1.000 oder mehr None (wird nicht gesendet, der Server entscheidet)

Am wichtigsten ist is_chat_model. Laut API-Referenz „controls whether the model uses the chat or completion endpoint“ (Übersetzung: steuert, ob das Modell den Chat- oder den Completion-Endpoint nutzt), Standard ist false. Die BroadNet-Dokumentation nennt /v1/chat/completions, nicht den älteren Completions-Endpoint.

In der ganzen App nutzen

from llama_index.core import Settings

Settings.llm = llm

Query Engines, Chat Engines und Agenten nutzen dann BroadNet. Embeddings sind davon getrennt: Die API-Referenz von BroadNet nennt keinen Embeddings-Endpoint, behalten Sie fürs Indexieren also ein anderes Embedding-Modell.

Kontextfenster

Modell ID context_window Tools
GLM 5.3 broadnet/glm-5.3 1048576 Ja
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Nicht genannt
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Ja
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Nicht genannt

Mit einem Kontext von 1M Token kann eine Query Engine pro Aufruf deutlich mehr abgerufene Chunks übergeben. Das ist nicht immer besser; siehe Long Context vs. RAG.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent aufgebraucht.
  • 404. api_base muss auf /v1 enden, und is_chat_model muss True sein. Prüfen Sie danach die Modell-ID. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leere Antworten. Das Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • Der Agent ruft nie Tools auf. Setzen Sie is_function_calling_model=True und nutzen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b.
  • 429 beim Ingestion-Lauf oder bei Batch-Abfragen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. OpenAILike wiederholt standardmäßig 3-mal (max_retries). Siehe Fehlercodes und Retries.

Häufige Fragen

Warum nicht einfach die OpenAI-Klasse von LlamaIndex mit anderer api_base?

Die OpenAI-Seite von LlamaIndex selbst empfiehlt die Integration OpenAILike für jede OpenAI-kompatible API, die nicht die offizielle OpenAI-API ist. Mit OpenAILike geben Sie außerdem Kontextfenster und Tool-Unterstützung selbst an.

Was passiert, wenn ich context_window weglasse?

OpenAILike nimmt dann standardmäßig 3.900 Token an, und LlamaIndex kürzt Prompts und abgerufene Chunks weit unter das, was die BroadNet-Modelle verarbeiten. Setzen Sie 1048576 für GLM 5.3 und DeepSeek V4.1 Flash oder 262144 für Qwen3.8 27B.

Kann ein FunctionAgent von LlamaIndex BroadNet nutzen?

Ja, mit is_function_calling_model=True auf einem Modell, für das BroadNet Tools nennt: GLM 5.3 oder Qwen3.8 27B. Für DeepSeek V4.1 Flash, bei dem die BroadNet-Dokumentation kein Tool Calling nennt, lassen Sie es auf False.

Bietet BroadNet Embeddings für einen LlamaIndex-Index?

Die API-Referenz von BroadNet nennt Chat Completions und Audio-Transkription, keine Embeddings. Nutzen Sie für den Index ein separates Embedding-Modell und BroadNet für das LLM.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen