BroadRouter
Loslegen

Tool Calling (Function Calling)

Aktualisiert

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

Auch genannt: Tool Calling, Function Calling, Funktionsaufruf, Tool-Aufruf, Tool Use, Tools, function calling, tool use, tools, tool_calls

Mit Tool Calling wirkt ein Sprachmodell auf die Welt ein: Es bittet Ihren Code, etwas nachzuschlagen, eine Abfrage auszuführen oder eine Datei zu bearbeiten, und nutzt dann das Ergebnis.

So funktioniert es

Der Leitfaden von OpenAI beschreibt eine Schleife zwischen Ihrer App und dem Modell:

  1. Tools senden. Die Anfrage listet Funktionen mit Namen, Beschreibung und einem JSON Schema für die Argumente.
  2. Einen Tool Call erhalten. Braucht das Modell ein Tool, gibt es statt einer endgültigen Antwort den Funktionsnamen und JSON-Argumente zurück.
  3. Ausführen. Ihr Code führt die Funktion aus. Der Leitfaden von OpenAI verortet diesen Schritt auf „the application side“ (Übersetzung: „der Seite der Anwendung“); das Modell selbst führt nie Code aus.
  4. Das Ergebnis zurückgeben, mit der passenden Call-ID.
  5. Die Antwort erhalten oder einen weiteren Tool Call. Bei Bedarf wiederholen.

Im Format von Chat Completions sieht eine Tool-Definition so aus:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

Die Antwort enthält finish_reason: "tool_calls" und eine Liste tool_calls. Jeder Eintrag hat eine id, den Funktionsnamen und arguments als JSON-String. Sie hängen eine Message mit role: "tool", derselben tool_call_id und dem Ergebnis an und rufen die API erneut auf.

Warum es wichtig ist

  • Agenten. Coding-Agenten, Support-Bots und Datenassistenten sind im Kern Schleifen aus Tool Calls.
  • Kosten. Jeder Durchlauf ist eine neue Anfrage, die Gespräch, Tool-Definitionen und Tool-Ergebnisse erneut als Input-Tokens sendet. Bei langen Tool-Schleifen werden gecachter Input und eine stabile Reihenfolge der Tools wichtig.
  • Sicherheit. Die Argumente stammen vom Modell. Validieren Sie sie, bevor Sie etwas ausführen, das Daten ändert oder Geld ausgibt.

Für eine Antwort, die einem Schema entsprechen muss, aber keine Funktion braucht, ist strukturierte Ausgabe das einfachere Werkzeug.

Bei BroadNet Inference

Die BroadNet-Dokumentation nennt Tool Calling für GLM 5.3 und Qwen3.8 27B, beide mit strukturierter Ausgabe und Reasoning. Für DeepSeek V4.1 Flash und BroadNet Gemma 4 VL 26B gibt sie keine Tool-Unterstützung an. Testen Sie Ihre eigene Tool-Schleife mit dem Modell, das Sie ausliefern wollen.

Beide genannten Modelle denken vor der Antwort nach, und Reasoning zählt zu max_tokens; lassen Sie also Platz, sonst kann ein Tool Call abgeschnitten werden. Siehe Reasoning-Tokens. Für Agenten-Tools mit eigenem Tool-Format lesen Sie die Anleitung zu Cline und die Anleitung zum Vercel AI SDK.

Häufige Fehler

  • arguments als Objekt parsen. Das Feld kommt als JSON-String an; dekodieren Sie es und behandeln Sie Fehler.
  • Die tool_call_id vergessen. Ohne sie kann das Modell Ergebnisse nicht den Aufrufen zuordnen.

Häufige Fragen

Führt das Modell meine Funktion aus?

Nein. Das Modell gibt nur den Funktionsnamen und die Argumente zurück. Ihr Code entscheidet, ob er sie ausführt, führt sie aus und sendet das Ergebnis in einer Tool-Message zurück.

Kann das Modell mehrere Tools auf einmal aufrufen?

Viele APIs erlauben parallele Tool Calls und liefern dann mehrere Einträge in tool_calls in einer Antwort. Ihr Code führt jeden aus und gibt ein Ergebnis pro tool_call_id zurück.

Welche BroadNet-Modelle unterstützen Tool Calling?

Die BroadNet-Dokumentation nennt Tools für GLM 5.3 und Qwen3.8 27B. Für DeepSeek V4.1 Flash und BroadNet Gemma 4 VL 26B gibt sie keine Tool-Unterstützung an; testen Sie dort also, bevor Sie sich darauf verlassen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen