Mit Tool Calling wirkt ein Sprachmodell auf die Welt ein: Es bittet Ihren Code, etwas nachzuschlagen, eine Abfrage auszuführen oder eine Datei zu bearbeiten, und nutzt dann das Ergebnis.
So funktioniert es
Der Leitfaden von OpenAI beschreibt eine Schleife zwischen Ihrer App und dem Modell:
- Tools senden. Die Anfrage listet Funktionen mit Namen, Beschreibung und einem JSON Schema für die Argumente.
- Einen Tool Call erhalten. Braucht das Modell ein Tool, gibt es statt einer endgültigen Antwort den Funktionsnamen und JSON-Argumente zurück.
- Ausführen. Ihr Code führt die Funktion aus. Der Leitfaden von OpenAI verortet diesen Schritt auf „the application side“ (Übersetzung: „der Seite der Anwendung“); das Modell selbst führt nie Code aus.
- Das Ergebnis zurückgeben, mit der passenden Call-ID.
- Die Antwort erhalten oder einen weiteren Tool Call. Bei Bedarf wiederholen.
Im Format von Chat Completions sieht eine Tool-Definition so aus:
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
Die Antwort enthält finish_reason: "tool_calls" und eine Liste tool_calls. Jeder Eintrag hat eine id, den Funktionsnamen und arguments als JSON-String. Sie hängen eine Message mit role: "tool", derselben tool_call_id und dem Ergebnis an und rufen die API erneut auf.
Warum es wichtig ist
- Agenten. Coding-Agenten, Support-Bots und Datenassistenten sind im Kern Schleifen aus Tool Calls.
- Kosten. Jeder Durchlauf ist eine neue Anfrage, die Gespräch, Tool-Definitionen und Tool-Ergebnisse erneut als Input-Tokens sendet. Bei langen Tool-Schleifen werden gecachter Input und eine stabile Reihenfolge der Tools wichtig.
- Sicherheit. Die Argumente stammen vom Modell. Validieren Sie sie, bevor Sie etwas ausführen, das Daten ändert oder Geld ausgibt.
Für eine Antwort, die einem Schema entsprechen muss, aber keine Funktion braucht, ist strukturierte Ausgabe das einfachere Werkzeug.
Bei BroadNet Inference
Die BroadNet-Dokumentation nennt Tool Calling für GLM 5.3 und Qwen3.8 27B, beide mit strukturierter Ausgabe und Reasoning. Für DeepSeek V4.1 Flash und BroadNet Gemma 4 VL 26B gibt sie keine Tool-Unterstützung an. Testen Sie Ihre eigene Tool-Schleife mit dem Modell, das Sie ausliefern wollen.
Beide genannten Modelle denken vor der Antwort nach, und Reasoning zählt zu max_tokens; lassen Sie also Platz, sonst kann ein Tool Call abgeschnitten werden. Siehe Reasoning-Tokens. Für Agenten-Tools mit eigenem Tool-Format lesen Sie die Anleitung zu Cline und die Anleitung zum Vercel AI SDK.
Häufige Fehler
argumentsals Objekt parsen. Das Feld kommt als JSON-String an; dekodieren Sie es und behandeln Sie Fehler.- Die
tool_call_idvergessen. Ohne sie kann das Modell Ergebnisse nicht den Aufrufen zuordnen.