BroadRouter
Начать

Вызов инструментов (tool calling)

Обновлено

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

Также называют: вызов функций, вызов инструментов, использование инструментов, инструменты LLM, tool calling, function calling, tool use, tools, tool_calls

Вызов инструментов — это способ, которым языковая модель действует во внешнем мире: она просит ваш код что-то найти, выполнить запрос или изменить файл, а затем использует результат.

Как это работает

Руководство OpenAI описывает цикл между вашим приложением и моделью:

  1. Передайте инструменты. В запросе перечисляются функции с именем, описанием и JSON Schema для аргументов.
  2. Получите вызов инструмента. Если модели нужен инструмент, вместо итогового ответа она возвращает имя функции и аргументы в JSON.
  3. Выполните его. Функцию выполняет ваш код. Руководство OpenAI относит этот шаг к “the application side” (перевод: «стороне приложения»); сама модель код никогда не выполняет.
  4. Верните результат с соответствующим ID вызова.
  5. Получите ответ или следующий вызов инструмента. Повторяйте сколько нужно.

В формате Chat Completions определение инструмента выглядит так (здесь — функция get_order_status, которая ищет заказ по ID):

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

В ответе будет finish_reason: "tool_calls" и список tool_calls. У каждой записи есть id, имя функции и arguments в виде JSON-строки. Вы добавляете сообщение с role: "tool", тем же tool_call_id и результатом, а затем снова вызываете API.

Почему это важно

  • Агенты. Агенты для программирования, боты поддержки и помощники по работе с данными — по большей части циклы вызовов инструментов.
  • Стоимость. Каждый круг — новый запрос, в котором диалог, определения инструментов и их результаты отправляются заново как входные токены. В длинных циклах важны вход из кэша и неизменный порядок инструментов.
  • Безопасность. Аргументы приходят от модели. Проверяйте их, прежде чем запускать что-либо, что меняет данные или тратит деньги.

Если ответ должен соответствовать схеме, но функция не нужна, проще использовать структурированный вывод.

В BroadNet Inference

Документация BroadNet указывает вызов инструментов для GLM 5.3 и Qwen3.8 27B, у обеих также есть структурированный вывод и рассуждения. Для DeepSeek V4.1 Flash и BroadNet Gemma 4 VL 26B поддержка инструментов в документации не указана. Проверьте свой цикл вызовов на модели, которую собираетесь выпускать.

Обе указанные модели рассуждают перед ответом, а рассуждения учитываются в max_tokens, поэтому оставляйте запас, иначе вызов инструмента может обрезаться. См. токены рассуждений. Об агентах со своим форматом инструментов — в руководстве по Cline и руководстве по Vercel AI SDK.

Частые ошибки

  • Разбирать arguments как объект. Это JSON-строка; декодируйте её и обрабатывайте ошибки.
  • Забывать tool_call_id. Без него модель не сопоставит результаты с вызовами.

Вопросы и ответы

Модель сама запускает мою функцию?

Нет. Модель возвращает только имя функции и аргументы. Ваш код решает, запускать ли её, запускает и отправляет результат обратно в сообщении с ролью tool.

Может ли модель вызвать несколько инструментов сразу?

Многие API допускают параллельные вызовы инструментов: в одном ответе в tool_calls приходит несколько записей. Ваш код выполняет каждую и возвращает по одному результату на каждый tool_call_id.

Какие модели BroadNet поддерживают вызов инструментов?

Документация BroadNet указывает инструменты для GLM 5.3 и Qwen3.8 27B. Для DeepSeek V4.1 Flash и BroadNet Gemma 4 VL 26B поддержка инструментов не указана, поэтому проверьте её, прежде чем на неё полагаться.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity