BroadRouter
Loslegen

Parallele Tool Calls (Parallel Tool Calls)

Aktualisiert

Parallele Tool Calls liegen vor, wenn ein Modell in einer einzigen Antwort mehr als einen Tool Call zurückgibt, zum Beispiel drei Dateilesevorgänge auf einmal. Im OpenAI-Format kommen sie als mehrere Einträge in tool_calls, und parallel_tool_calls auf false begrenzt das Modell auf null oder einen Aufruf pro Runde.

Auch genannt: parallele Tool Calls, paralleles Tool Calling, parallele Funktionsaufrufe, mehrere Tool Calls, parallel tool calling, parallel function calling, parallel_tool_calls, multiple tool calls

Ein Agent, der drei Dateien braucht, muss sie nicht in drei einzelnen Roundtrips anfordern. Mit parallelen Tool Calls fragt das Modell alle drei auf einmal an.

So funktioniert es

In einer Antwort mit Tool Calling ist message.tool_calls eine Liste. Bei parallelen Aufrufen hat sie mehr als einen Eintrag, jeder mit eigener id, eigenem Funktionsnamen und eigenen JSON-Argumenten.

"tool_calls": [
  {"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
  {"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]

Ihr Code führt die Aufrufe aus und hängt pro Aufruf eine tool-Nachricht mit der passenden tool_call_id an, dann ruft er das Modell erneut auf.

  • OpenAI: parallel_tool_calls steht standardmäßig auf true. Der Wert false „ensures exactly zero or one tool is called.“ (Übersetzung: „stellt sicher, dass genau null oder ein Tool aufgerufen wird.“) Der Leitfaden warnt, dass ein bestimmter Modell-Snapshot manchmal dasselbe Tool mehrfach aufrief, und empfiehlt, die Funktion dort abzuschalten.
  • Anthropic: Parallele Nutzung ist standardmäßig aktiv. Abschalten mit disable_parallel_tool_use: true innerhalb des tool_choice-Objekts. Laut Anthropic „doesn’t prescribe an execution order“ (Übersetzung: „schreibt die API keine Ausführungsreihenfolge vor“), und alle Tool-Ergebnisse sollten in einer einzigen User-Nachricht zurückkommen, damit die Parallelität funktioniert.

Warum es wichtig ist

  • Latenz. Weniger Roundtrips zum Modell. Unabhängige, rein lesende Tools können bei Ihnen gleichzeitig laufen.
  • Reihenfolge. Aufrufe mit Seiteneffekten, etwa erst schreiben, dann lesen, können voneinander abhängen. Anthropic empfiehlt, solche nacheinander auszuführen. Oder schalten Sie die Funktion ab.
  • Buchführung. Jeder Aufruf braucht ein Ergebnis mit der richtigen ID. Ein fehlendes Ergebnis ist eine häufige Ursache dafür, dass die nächste Anfrage scheitert.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert Tool Calling für GLM 5.3 und Qwen3.8 27B, aber nicht parallel_tool_calls. Testen Sie, ob Ihr Prompt mehrere Aufrufe zurückbekommt und ob false beachtet wird. Parallele Aufrufe kommen in einer Antwort, zählen also nicht zusätzlich zu Ihren Anfragen. Die Tools führen Sie selbst aus. Beachten Sie, dass eine Session eines unbegrenzten Plans von BroadNet eine Anfrage nach der anderen erlaubt und nur für DeepSeek V4.1 Flash gilt; bei Pay-as-you-go-Schlüsseln liegt das Concurrency-Limit bei 4 gleichzeitig laufenden Anfragen. Der Beitrag zu Tool Calling mit offenen Modellen hat eine funktionierende Schleife.

Häufige Fehler

  • Ergebnisse für jeden Aufruf in einem anderen Nachrichtenformat zurückgeben oder eines weglassen.
  • Abhängige Tools gleichzeitig ausführen, weil das Modell sie zusammen aufgelistet hat.

Häufige Fragen

Bedeuten parallele Tool Calls parallele API-Anfragen?

Nein. Das Modell gibt mehrere Aufrufe in einer Antwort zurück. Ihr Code führt sie aus, gleichzeitig oder nacheinander, und schickt alle Ergebnisse in der nächsten Anfrage zurück.

Wie schalte ich parallele Tool Calls ab?

Im OpenAI-Format setzen Sie parallel_tool_calls auf false; OpenAI schreibt, das „ensures exactly zero or one tool is called“ (Übersetzung: „stellt sicher, dass genau null oder ein Tool aufgerufen wird“). In der API von Anthropic setzen Sie disable_parallel_tool_use innerhalb von tool_choice auf true.

Unterstützt BroadNet Inference parallel_tool_calls?

Die API-Referenz von BroadNet dokumentiert parallel_tool_calls nicht. Tool Calling ist für GLM 5.3 und Qwen3.8 27B dokumentiert; testen Sie, ob sie mehrere Aufrufe zurückgeben und ob das Flag beachtet wird.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen