Вызов инструментов — это способ, которым языковая модель действует во внешнем мире: она просит ваш код что-то найти, выполнить запрос или изменить файл, а затем использует результат.
Как это работает
Руководство OpenAI описывает цикл между вашим приложением и моделью:
- Передайте инструменты. В запросе перечисляются функции с именем, описанием и JSON Schema для аргументов.
- Получите вызов инструмента. Если модели нужен инструмент, вместо итогового ответа она возвращает имя функции и аргументы в JSON.
- Выполните его. Функцию выполняет ваш код. Руководство OpenAI относит этот шаг к “the application side” (перевод: «стороне приложения»); сама модель код никогда не выполняет.
- Верните результат с соответствующим ID вызова.
- Получите ответ или следующий вызов инструмента. Повторяйте сколько нужно.
В формате Chat Completions определение инструмента выглядит так (здесь — функция get_order_status, которая ищет заказ по ID):
{
"type": "function",
"function": {
"name": "get_order_status",
"description": "Look up an order by ID",
"parameters": {
"type": "object",
"properties": { "order_id": { "type": "string" } },
"required": ["order_id"]
}
}
}
В ответе будет finish_reason: "tool_calls" и список tool_calls. У каждой записи есть id, имя функции и arguments в виде JSON-строки. Вы добавляете сообщение с role: "tool", тем же tool_call_id и результатом, а затем снова вызываете API.
Почему это важно
- Агенты. Агенты для программирования, боты поддержки и помощники по работе с данными — по большей части циклы вызовов инструментов.
- Стоимость. Каждый круг — новый запрос, в котором диалог, определения инструментов и их результаты отправляются заново как входные токены. В длинных циклах важны вход из кэша и неизменный порядок инструментов.
- Безопасность. Аргументы приходят от модели. Проверяйте их, прежде чем запускать что-либо, что меняет данные или тратит деньги.
Если ответ должен соответствовать схеме, но функция не нужна, проще использовать структурированный вывод.
В BroadNet Inference
Документация BroadNet указывает вызов инструментов для GLM 5.3 и Qwen3.8 27B, у обеих также есть структурированный вывод и рассуждения. Для DeepSeek V4.1 Flash и BroadNet Gemma 4 VL 26B поддержка инструментов в документации не указана. Проверьте свой цикл вызовов на модели, которую собираетесь выпускать.
Обе указанные модели рассуждают перед ответом, а рассуждения учитываются в max_tokens, поэтому оставляйте запас, иначе вызов инструмента может обрезаться. См. токены рассуждений. Об агентах со своим форматом инструментов — в руководстве по Cline и руководстве по Vercel AI SDK.
Частые ошибки
- Разбирать
argumentsкак объект. Это JSON-строка; декодируйте её и обрабатывайте ошибки. - Забывать
tool_call_id. Без него модель не сопоставит результаты с вызовами.