जिस एजेंट को तीन फ़ाइलें चाहिए, उसे हर फ़ाइल के लिए अलग round trip नहीं करना पड़ता। Parallel tool calls के साथ मॉडल तीनों एक साथ माँग लेता है।
यह कैसे काम करता है
Tool calling वाले जवाब में message.tool_calls एक सूची होती है। Parallel कॉल में इसमें एक से ज़्यादा एंट्री होती हैं, हर एक का अपना id, function का नाम और JSON arguments।
"tool_calls": [
{"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
{"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]
आपका कोड कॉल चलाता है और हर कॉल के लिए एक tool मैसेज जोड़ता है, हर एक में मेल खाता tool_call_id, फिर मॉडल को दोबारा कॉल करता है।
- OpenAI:
parallel_tool_callsडिफ़ॉल्ट रूप सेtrueहै। इसेfalseकरना “ensures exactly zero or one tool is called.” (अनुवाद: पक्का करता है कि ठीक शून्य या एक टूल कॉल हो)। गाइड चेतावनी देती है कि एक मॉडल snapshot कभी-कभी एक ही टूल को बार-बार कॉल करता था, और वहाँ यह फ़ीचर बंद करने की सलाह देती है। - Anthropic: parallel इस्तेमाल डिफ़ॉल्ट रूप से चालू है। इसे tool_choice object के अंदर
disable_parallel_tool_use: trueसे बंद करें। Anthropic कहता है कि API “doesn’t prescribe an execution order” (अनुवाद: चलाने का कोई क्रम तय नहीं करता), और parallelism चालू रखने के लिए सारे टूल नतीजे एक ही user मैसेज में लौटने चाहिए।
यह क्यों मायने रखता है
- Latency. मॉडल के round trip कम होते हैं। स्वतंत्र, सिर्फ़ पढ़ने वाले टूल आपकी तरफ़ एक साथ चल सकते हैं।
- क्रम. side effects वाली कॉल, जैसे पहले लिखना फिर पढ़ना, एक-दूसरे पर निर्भर हो सकती हैं। Anthropic इन्हें क्रम से चलाने की सलाह देता है। या फ़ीचर बंद कर दें।
- हिसाब-किताब. हर कॉल को सही ID वाला नतीजा चाहिए। कोई नतीजा छूट जाना अगले अनुरोध के फ़ेल होने की एक आम वजह है।
BroadNet Inference पर
BroadNet का API रेफ़रंस GLM 5.3 और Qwen3.8 27B के लिए tool calling दर्ज करता है और parallel_tool_calls दर्ज नहीं करता। टेस्ट करें कि आपके प्रॉम्प्ट पर कई कॉल लौटती हैं या नहीं, और false माना जाता है या नहीं। Parallel कॉल एक ही जवाब में आती हैं, इसलिए वे आपके अनुरोधों की गिनती नहीं बढ़ातीं। टूल चलाना आपकी तरफ़ है। ध्यान दें कि BroadNet के अनलिमिटेड प्लान का एक सेशन एक समय में एक ही अनुरोध चलाता है, और वह सिर्फ़ DeepSeek V4.1 Flash के लिए है; उपयोग के अनुसार भुगतान वाली keys पर concurrency सीमा एक साथ 4 चलते अनुरोध है। ओपन मॉडल के साथ tool calling वाले लेख में काम करता हुआ loop है।
आम ग़लतियाँ
- हर कॉल का नतीजा अलग मैसेज फ़ॉर्मैट में लौटाना, या किसी एक को छोड़ देना।
- एक-दूसरे पर निर्भर टूल को एक साथ चलाना, सिर्फ़ इसलिए कि मॉडल ने उन्हें साथ में सूचीबद्ध किया।