Глоссарий LLM API
Обновлено
Короткие определения с источниками для терминов, с которыми разработчики сталкиваются при вызове LLM API или API распознавания речи: что такое токены и контекстное окно, как кэшированный ввод и фиксированные тарифы меняют счёт и что на практике означают лимиты запросов и нулевое хранение данных.
API и интеграция
- Базовый URL (base URL)
- Базовый URL — это фиксированный корневой адрес API, например https://api.example.com/v1, который клиент подставляет перед каждым путём эндпоинта, например /chat/completions. В OpenAI-совместимых SDK смена базового URL вместе с API-ключом и ID модели направляет тот же код к другому провайдеру.
- Бессерверный инференс (serverless inference)
- Бессерверный инференс — это способ запуска моделей машинного обучения, при котором платформа сама запускает, масштабирует и останавливает вычислительные ресурсы за эндпоинтом, часто до нуля в простое, и берёт плату за использование, а не за зарезервированные машины. Обратная сторона — возможная задержка холодного старта.
- Векторная база данных (vector database)
- Векторная база данных — это хранилище, которое держит векторы эмбеддингов, часто вместе с исходным текстом и метаданными, и отвечает на запросы ближайших соседей: по вектору запроса возвращает самые похожие сохранённые векторы, обычно по косинусному расстоянию, евклидову расстоянию или скалярному произведению.
- Время до первого токена (TTFT)
- Время до первого токена (TTFT) — это время от отправки запроса языковой модели до прихода первого выходного токена. Оно включает сетевое время, очередь на сервере и prefill — этап, на котором модель читает весь промпт, поэтому растёт с длиной промпта и нагрузкой.
- Вывод модели из эксплуатации (model deprecation)
- Вывод модели из эксплуатации (deprecation) — это объявление провайдера API о том, что модель перестанет предоставляться; обычно в нём указана дата отключения и рекомендуемая замена. После этой даты запросы к модели завершаются ошибкой, поэтому приложения должны заранее перейти на другой ID модели.
- Вызов инструментов (tool calling)
- Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.
- Гибридный поиск (hybrid search)
- Гибридный поиск — это метод извлечения, который по одному запросу выполняет поиск по ключевым словам, например BM25, и векторный поиск по эмбеддингам, а затем сливает два ранжированных списка в один, часто с помощью reciprocal rank fusion (RRF) или взвешенной суммы нормализованных оценок.
- Задержка (latency)
- Задержка (latency) в API языковой модели — это время от отправки запроса до получения последнего выходного токена. Она складывается из времени до первого токена и времени генерации и обычно указывается в перцентилях, например p50 и p95, а не как среднее.
- ИИ-агент (AI agent)
- ИИ-агент — это система, в которой языковая модель сама направляет свои шаги к цели: решает, какие инструменты вызвать, читает результаты и повторяет, пока не выдаст итоговый ответ или не упрётся в лимит. Фиксированный сценарий, который вызывает модель в заранее заданных местах, обычно называют не агентом, а workflow.
- ИИ-агент для программирования (AI coding agent)
- ИИ-агент для программирования — это инструмент, в котором языковая модель работает с кодовой базой в цикле: читает файлы, правит их, запускает команды, например тесты, читает вывод и решает, каким будет следующий шаг, пока задача не выполнена или не достигнут лимит.
- Ключ идемпотентности (idempotency key)
- Ключ идемпотентности — это уникальное значение, обычно случайный ID вроде UUID, которое клиент прикладывает к запросу, меняющему состояние, например к платежу или покупке. Если тот же запрос приходит снова с тем же ключом, сервер возвращает исходный результат, а не выполняет действие второй раз.
- Лимит запросов (rate limit)
- Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.
- Мультиагентная система (multi-agent system)
- Мультиагентная система — это LLM-приложение, в котором несколько агентов, каждый со своим промптом, инструментами и контекстом, решают части одной задачи. Распространённая схема — оркестратор и исполнители: ведущий агент планирует, параллельно запускает агентов-исполнителей и объединяет их результаты.
- Нормализация Unicode (Unicode normalization)
- Нормализация Unicode — это приведение текста к стандартной форме, чтобы одинаково выглядящие строки состояли из одних и тех же кодовых точек. Форм четыре: NFD, NFC, NFKD и NFKC; формы K вдобавок сводят символы совместимости, например арабские формы представления и лигатуры, к обычным буквам.
- Параллельность (concurrency)
- Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.
- Параллельные вызовы инструментов (parallel tool calls)
- Параллельные вызовы инструментов — это когда модель возвращает больше одного вызова инструмента в одном ответе, например три чтения файлов сразу. В формате OpenAI они приходят несколькими элементами tool_calls, а parallel_tool_calls со значением false ограничивает модель нулём или одним вызовом за ход.
- Параметр seed (сид)
- Параметр seed — это целое число, которое вы передаёте в запросе, чтобы API постарался выбрать те же токены при повторе того же запроса. OpenAI описывает это как best effort: детерминизм не гарантирован, а поле system_fingerprint показывает, когда изменилась конфигурация бэкенда.
- Провайдер инференса (inference provider)
- Провайдер инференса — это компания, которая запускает модели машинного обучения, часто LLM с открытыми весами, на собственных, взятых в лизинг или арендованных GPU и продаёт к ним доступ через API, обычно с оплатой за токен, запрос или единицу времени. Он отвечает за обслуживание запросов, масштабирование и оборудование.
- Пропускная способность (throughput)
- Пропускная способность (throughput) в обслуживании LLM — это общий объём работы, который система выполняет за единицу времени по всем параллельным запросам; обычно её измеряют в выходных токенах или запросах в секунду. Она отличается от скорости потока — того, как быстро токены получает отдельный запрос.
- Резервная модель (model fallback)
- Model fallback (переключение на резервную модель) — это паттерн надёжности, при котором неудавшийся запрос к LLM повторяется на другой модели или у другого провайдера из упорядоченного списка. Поводом может быть ошибка, лимит запросов, превышение длины контекста или отказ по контент-политике. Он работает в вашем клиенте или в шлюзе перед API.
- Реранкинг (reranking)
- Реранкинг — это второй этап поиска, на котором более точная, но медленная модель, обычно кросс-энкодер, оценивает каждую пару из запроса и документа-кандидата, найденного первичным поиском, и переупорядочивает их, чтобы в языковую модель попали только несколько самых релевантных.
- Системный промпт (system prompt)
- Системный промпт — это текст инструкций, который приложение отправляет языковой модели перед диалогом, обычно как сообщение с ролью system или developer. Он задаёт роль модели, правила, тон и формат ответа, и при конфликте с сообщениями пользователя модель должна следовать именно ему.
- Стоп-последовательности (stop sequences)
- Стоп-последовательности — это строки, которые вы передаёте в запросе, чтобы модель прекратила генерацию, как только выведет одну из них. В OpenAI поле называется stop и принимает до 4 последовательностей, в Anthropic — stop_sequences. Совпавший текст обычно не попадает в возвращаемый ответ.
- Стриминг (streaming)
- Стриминг — это способ возвращать ответ языковой модели небольшими частями (чанками) прямо во время генерации, а не одним ответом в конце. OpenAI-совместимые API передают поток через server-sent events, если в запросе stream равен true.
- Структурированный вывод (structured output)
- Структурированный вывод — это функция LLM API, которая ограничивает ответ модели форматом, заданным разработчиком, обычно JSON Schema, чтобы код мог надёжно его разобрать. Он строже, чем JSON mode, который гарантирует корректный JSON, но не конкретную структуру.
- Субагент (subagent)
- Субагент — это отдельный агент, которого основной агент запускает для одной узкой задачи. Он работает со своим контекстным окном, системным промптом и доступом к инструментам, выполняет работу и возвращает основному агенту только результат или краткую сводку, благодаря чему основной диалог остаётся компактным.
- Тайм-аут запроса (request timeout)
- Тайм-аут запроса — это наибольшее время, которое HTTP-клиент ждёт сервер, прежде чем отказаться от запроса. Обычно клиенты делят его на тайм-аут подключения, для установки соединения, и тайм-аут чтения, для ожидания данных. Вызовам LLM нужны щедрые тайм-ауты чтения: длинные ответы требуют времени.
- Текст справа налево (RTL, right-to-left)
- Текст справа налево (RTL) — это письмо, например арабское или иврит, которое отображается справа налево. Компьютер хранит его в логическом порядке чтения, а когда RTL-текст смешивается с текстом слева направо, цифрами, названиями моделей или кодом, порядок отображения определяет двунаправленный алгоритм Unicode.
- Чанкинг (chunking) в RAG
- Чанкинг — это шаг конвейера поиска, на котором документы разбиваются на небольшие фрагменты, чанки, перед векторизацией и индексацией. Размер чанка задаёт, сколько текста в каждом фрагменте, а перекрытие повторяет часть текста между соседними чанками, чтобы мысль, разрезанная границей, не потерялась.
- Экспоненциальная задержка (exponential backoff)
- Экспоненциальная задержка (exponential backoff) — это стратегия повторов, при которой клиент после каждой неудачной попытки ждёт дольше, обычно удваивая паузу до потолка, прежде чем попробовать снова. Случайный джиттер в каждой паузе разносит повторы множества клиентов, чтобы они не били в сервер одновременно.
- Batch API (пакетная обработка запросов)
- Batch API — это асинхронный эндпоинт LLM, который принимает сразу много запросов, обычно в виде файла, обрабатывает их не немедленно, а в пределах заданного окна, и возвращает результаты вместе. Такие провайдеры, как OpenAI и Anthropic, берут за пакетные запросы меньше, чем в своих стандартных API.
- BM25
- BM25 (Okapi BM25) — это функция ранжирования для поиска по ключевым словам, которая оценивает документ по тому, как часто в нём встречаются слова запроса, насколько эти слова редки во всей коллекции и какова длина документа. Это сходство по умолчанию в Lucene и Elasticsearch.
- Chat Completions API
- Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.
- finish_reason (причина остановки)
- finish_reason — это поле каждого варианта (choice) в ответе chat completion, которое сообщает, почему модель прекратила генерацию. В формате OpenAI значения такие: stop, length, tool_calls, content_filter и устаревшее function_call. В Messages API от Anthropic то же самое передаёт поле stop_reason.
- JSON mode (режим JSON)
- JSON mode — это настройка API языковой модели (в OpenAI-совместимых API — response_format {"type": "json_object"}), которая делает ответ модели валидным, разбираемым JSON. В отличие от structured outputs с JSON Schema, она не гарантирует, какие ключи, типы и значения будут в объекте.
- JSON Schema (JSON-схема)
- JSON Schema — это словарь, записанный на самом JSON, для описания и валидации структуры JSON-данных: типов, обязательных полей, допустимых значений и вложенности. Текущая версия — 2020-12. API языковых моделей используют его, чтобы задать параметры инструментов и точную форму структурированного вывода.
- LLM-роутер (LLM router)
- LLM-роутер — это программа или сервис между приложением и одним или несколькими API языковых моделей, который для каждого запроса решает, какая модель или какой провайдер его обработает, по правилам вроде стоимости, задержки, доступности или типа задачи.
- MCP (Model Context Protocol)
- MCP (Model Context Protocol) — это открытый протокол на основе JSON-RPC 2.0, который стандартизирует подключение LLM-приложений к внешним инструментам и данным. MCP-сервер предоставляет инструменты, ресурсы и промпты, а MCP-клиент внутри приложения-хоста находит их и передаёт серверу вызовы инструментов от модели.
- OpenAI-совместимый API
- OpenAI-совместимый API — это HTTP API, который принимает те же форматы запросов и ответов, что и OpenAI API, например POST /v1/chat/completions. Поэтому SDK и инструменты OpenAI работают с ним после замены всего трёх значений: базового URL, API-ключа и названия модели.
- RAG (генерация, дополненная поиском)
- RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.
- ReAct (reason and act, «рассуждай и действуй»)
- ReAct (reason and act) — это паттерн промптинга, предложенный Yao et al. в 2022 году, в котором языковая модель чередует цепочки рассуждений с действиями, например поиском или вызовами инструментов. Она читает каждое наблюдение, обновляет план и повторяет цикл, пока не сможет дать итоговый ответ.
- Server-sent events (SSE)
- Server-sent events (SSE) — это веб-стандарт, по которому сервер передаёт клиенту поток текстовых событий в одном долгоживущем HTTP-ответе с типом содержимого text/event-stream. Каждое событие — одна или несколько строк-полей, например data:, и завершается пустой строкой.
- SLA (соглашение об уровне обслуживания)
- SLA (соглашение об уровне обслуживания, service level agreement) — это договорное обязательство провайдера обеспечить измеримый уровень сервиса, обычно процент доступности за месяц, с заранее определённой компенсацией, как правило сервисными кредитами, если он не выдержан. SLA определяет, что считается простоем, что исключено и как подать заявку.
- tool_choice
- tool_choice — это параметр запроса, который управляет использованием инструментов. В Chat Completions от OpenAI он может быть auto (модель решает сама), required (модель обязана вызвать один или несколько инструментов), none (без инструментов) или именем функции, вызов которой принудителен. Аналогичные варианты у Anthropic — auto, any, tool и none.
Модели и токены
- Арабизи (Arabizi)
- Арабизи — это неформальная запись арабского латинскими буквами, где арабские звуки без латинского аналога передаются цифрами, например 3 вместо ع. Он распространён в чатах и соцсетях, в основном диалектный, не имеет стандартной орфографии и часто перемешан с английским или французским.
- Арабские диалекты (dialectal Arabic)
- Арабские диалекты — это повседневный разговорный арабский язык региона или города, например египетский, диалекты Персидского залива, левантийский или магрибский. Они отличаются от современного стандартного арабского звуками, словами и грамматикой, не имеют стандартной орфографии и всё чаще пишутся в интернете, поэтому языковым моделям с ними сложнее.
- Арабские огласовки (ташкиль, tashkeel)
- Арабские огласовки, или ташкиль, — это небольшие знаки над буквами или под ними, которые обозначают краткие гласные, удвоенные согласные и отсутствие гласного. Они необязательны: в большинстве арабских текстов, включая новости, их нет, и читатель или программа восстанавливает гласные по контексту.
- Бенчмарк LLM (LLM benchmark)
- Бенчмарк LLM — это фиксированный, обычно публичный набор задач со способом подсчёта баллов, по которому измеряют и сравнивают языковые модели в одном навыке: ответах на вопросы на знания, программировании или распознавании речи. Балл на бенчмарке показывает относительные способности на этом тесте, а не то, как модель справится с вашей нагрузкой.
- Визуально-языковая модель (VLM)
- Визуально-языковая модель (vision-language model, VLM) — это модель, которая принимает на вход изображения вместе с текстом и выдаёт текст, поэтому может описывать картинки, отвечать на вопросы о них и читать документы, графики и скриншоты. VLM также называют моделями image-text-to-text или мультимодальными моделями.
- Галлюцинация (hallucination)
- Галлюцинация — это ответ языковой модели, который звучит правдоподобно, но ложен, выдуман или не подкреплён переданными ей данными: например, несуществующая ссылка на источник, неверное число или выдуманный метод API. Она возникает потому, что модель предсказывает вероятный текст, а не проверяет факты.
- Деградация контекста (context rot)
- Деградация контекста (context rot) — это постепенная потеря точности и надёжности языковых моделей по мере удлинения входа, даже если задача не меняется, а вход далеко не заполняет контекстное окно. Термин закрепился после технического отчёта Chroma 2025 года, в котором проверили 18 моделей.
- Дистилляция знаний (knowledge distillation)
- Дистилляция, или дистилляция знаний, — это метод обучения, при котором меньшая модель-ученик учится воспроизводить выходы большей модели-учителя, например её распределения вероятностей или сгенерированные ответы. В итоге ученик сохраняет значительную часть качества учителя, а запуск обходится дешевле.
- Дообучение (fine-tuning)
- Дообучение (fine-tuning) — это продолжение обучения предобученной языковой модели на меньшем наборе данных под конкретную задачу, например на примерах диалогов. Веса модели меняются, и она надёжнее выполняет эту задачу или держит стиль без длинных инструкций и примеров в каждом промпте.
- Заземление (grounding)
- Заземление (grounding) — это практика привязки ответа языковой модели к конкретным проверяемым источникам информации, например к переданным документам, результатам поиска или записям базы данных, с инструкцией отвечать на их основе. Заземлённые ответы можно проследить до источника, и в них реже встречаются выдуманные факты.
- Квантизация (quantization)
- Квантизация — это хранение чисел нейросети, в первую очередь её весов, в формате пониженной точности, например 8- или 4-битном вместо 16-битного, чтобы модель занимала меньше памяти и часто работала быстрее. Хорошие методы сохраняют потерю точности небольшой.
- Кодирование пар байтов (byte pair encoding, BPE)
- Кодирование пар байтов (BPE) — это алгоритм подсловной токенизации, который начинает с отдельных символов или байтов и раз за разом объединяет самую частую соседнюю пару в новую запись словаря, пока не достигнет заданного размера словаря. Большинство современных токенизаторов LLM используют BPE или его байтовый вариант.
- Контекстная инженерия (context engineering)
- Контекстная инженерия — это работа по отбору и поддержанию набора токенов, который языковая модель видит в каждом запросе: системного промпта, описаний инструментов, истории, найденных документов и заметок. Цель — дать модели минимальный набор самой ценной информации, нужной, чтобы хорошо выполнить задачу.
- Контекстное окно (context window)
- Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.
- Лицензия модели (model license)
- Лицензия модели — это юридические условия, на которых веса, код и выходные данные модели можно использовать, изменять и распространять. Модели с открытыми весами выходят под стандартными лицензиями на ПО, например Apache 2.0 или MIT, или под собственными лицензиями, которые могут добавлять условия, например ограничения для крупных коммерческих сервисов.
- Модель с открытыми весами (open-weight model)
- Модель с открытыми весами — это модель машинного обучения, чьи обученные веса опубликованы, чтобы любой мог их скачать и запустить, обычно по лицензии с условиями. Она отличается от полностью открытого (open source) ИИ, где публикуются ещё код обучения и подробные сведения об обучающих данных, чтобы другие могли изучить и воспроизвести модель.
- Мультимодальный ИИ (multimodal AI)
- Мультимодальный ИИ — это модель или система, которая работает больше чем с одним типом данных, например с текстом, изображениями, видео и аудио. Мультимодальная модель может прочитать фото вместе с вопросом или принять речь и ответить текстом. Самая распространённая разновидность — визуально-языковая модель.
- Нормализация арабского текста (Arabic text normalization)
- Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.
- Определение арабского диалекта (dialect identification)
- Определение арабского диалекта — это задача установить, на каком варианте арабского написан текст или сделана запись: египетском, диалектах Персидского залива, левантийском, магрибском или современном литературном арабском, на уровне региона, страны или города. Его используют для маршрутизации сообщений, выбора промптов и разбиения наборов для оценки.
- Оптическое распознавание символов (OCR)
- Оптическое распознавание символов (OCR) — это технология, которая находит печатный или рукописный текст на изображении, скане или в PDF и превращает его в машиночитаемые символы. Классический OCR выдаёт текст и его положение на странице; визуально-языковые модели могут прочитать текст и сразу ответить на вопросы о нём.
- Потеря в середине (lost in the middle)
- Lost in the middle («потеря в середине») — это наблюдаемая склонность языковых моделей лучше всего использовать нужную информацию, когда она стоит ближе к началу или концу длинного ввода, и хуже всего — когда она находится в середине. Название эффекту дало исследование Liu и соавторов 2023 года.
- Промпт-инжиниринг (prompt engineering)
- Промпт-инжиниринг — это процесс написания, структурирования и проверки инструкций для языковой модели, чтобы она стабильно выдавала результат, отвечающий вашим требованиям. Он включает роли сообщений, ясные инструкции, примеры, форматирование и оценку результатов на тестовых примерах.
- Размер словаря (vocabulary size)
- Размер словаря — это число различных токенов в токенизаторе языковой модели, у каждого из которых свой ID и свой эмбеддинг. Больший словарь может кодировать распространённый текст меньшим числом токенов, но увеличивает слои эмбеддингов и выхода и помогает только для текста, на котором словарь обучали.
- Распознавание именованных сущностей (NER)
- Распознавание именованных сущностей (NER) — это задача найти в тексте имена и присвоить каждому тип, например «персона», «организация» или «место». Классические системы размечают каждый токен; у LLM вместо этого обычно просят вернуть список сущностей в JSON, который затем сверяют с исходным текстом.
- Сжатие контекста (context compaction)
- Сжатие контекста — это приём, при котором диалог, подходящий к пределу контекстного окна, суммаризируется, и сессия продолжается с этого резюме: агент сохраняет ключевые решения и состояние, а сырую историю, например старый вывод инструментов, отбрасывает.
- Смесь экспертов (mixture of experts, MoE)
- Смесь экспертов (MoE) — это архитектура нейросети, в которой слой содержит много подсетей-экспертов, а обучаемый роутер отправляет каждый токен лишь в несколько из них. У MoE-модели большое общее число параметров, но на каждый токен она задействует небольшое активное подмножество.
- Современный стандартный арабский (MSA, фусха)
- Современный стандартный арабский (MSA) — это стандартизированная форма арабского языка для письма, новостей, образования и официальной речи во всём арабском мире. Ни для кого он не родной повседневный язык: люди говорят на региональных диалектах, например египетском или заливском, и переходят на MSA в официальной обстановке.
- Спекулятивное декодирование (speculative decoding)
- Спекулятивное декодирование — это техника инференса, при которой небольшая быстрая черновая модель предлагает несколько следующих токенов, а большая целевая модель проверяет их за один прямой проход и оставляет принятые. Генерация ускоряется, а распределение выходных токенов не меняется.
- Та марбута (ة, taa marbuta)
- Та марбута (ة, U+0629) — это арабская буква, которая встречается только в конце слова и часто обозначает женский род существительных и прилагательных. Она выглядит как ха (ه, U+0647) с двумя точками, поэтому в набранном тексте их путают, и многие поисковые нормализаторы заменяют ة на ه.
- Температура (temperature)
- Температура — это параметр сэмплирования, который определяет, насколько случайным будет ответ языковой модели. Модель делит оценки токенов на температуру, прежде чем превратить их в вероятности: при низких значениях доминирует самый вероятный токен, при высоких распределение выравнивается и менее вероятные токены выбираются чаще.
- Токен (token)
- Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.
- Токенизатор (tokenizer)
- Токенизатор — это компонент, который преобразует текст в последовательность целочисленных ID токенов, которую читает языковая модель, и превращает сгенерированные ID обратно в текст. У каждой модели свой токенизатор, поэтому один и тот же текст может дать разное число токенов на разных моделях.
- Токены в секунду (tokens per second, TPS)
- Токены в секунду (TPS) — это скорость, с которой языковая модель генерирует выходные токены; обычно её измеряют для одного запроса после прихода первого токена. Она определяет, как быстро стримится начавшийся ответ. В сумме по всем параллельным запросам это пропускная способность системы; ожидание первого токена измеряют отдельно.
- Токены изображений (image tokens)
- Токены изображений — это входные токены, которыми визуально-языковая модель представляет картинку в промпте. Провайдеры вычисляют их по размеру изображения, обычно после масштабирования разбивая его на патчи или плитки фиксированного размера, и тарифицируют как текстовые входные токены, поэтому большие изображения стоят дороже.
- Токены рассуждений (reasoning tokens)
- Токены рассуждений — это токены, которые модель с рассуждениями генерирует, чтобы проработать задачу, прежде чем написать видимый ответ. Обычно они оплачиваются как выходные токены, учитываются в лимите на ответ и в контекстном окне, а API может их скрывать или выдавать в сжатом виде.
- Хамза (hamza)
- Хамза (ء) — арабская буква, обозначающая гортанную смычку. Она пишется отдельно или на подставке: алиф (أ إ), вав (ؤ) или йа (ئ), а آ сочетает алиф с маддой. Поскольку в набранном тексте её пишут непоследовательно, поисковые системы и оценка распознавания речи часто сводят формы алифа к ا.
- Цепочка рассуждений (chain-of-thought, CoT)
- Цепочка рассуждений (chain-of-thought, CoT) — это техника промптинга, при которой языковой модели показывают или поручают записывать промежуточные шаги рассуждения перед окончательным ответом. Она повышает точность в многошаговых задачах, например в арифметике и логике, а модели рассуждений теперь генерируют её автоматически.
- Шаблон чата (chat template)
- Шаблон чата — это правило форматирования, обычно написанное на Jinja и поставляемое вместе с токенизатором модели, которое превращает список сообщений чата с ролями в единую последовательность токенов, ожидаемую моделью, включая её специальные управляющие токены. Неверный шаблон может резко ухудшить ответы модели.
- Штрафы за частоту и присутствие (frequency/presence penalty)
- Штрафы за частоту и присутствие — это параметры сэмплирования, которые снижают оценку токенов, уже встречавшихся в выводе. Штраф за присутствие применяется, как только токен появился хотя бы раз; штраф за частоту растёт с каждым повтором. В API OpenAI оба принимают значения от -2.0 до 2.0, по умолчанию 0.
- Эмбеддинги (embeddings)
- Эмбеддинги — это списки чисел с плавающей точкой (векторы), которые модель выдаёт для фрагмента текста, изображения или другого входа. Близкие по смыслу входы получают близкие векторы, поэтому расстояние между векторами позволяет ранжировать результаты поиска, группировать документы или находить похожие объекты.
- AWQ (activation-aware weight quantization)
- AWQ (activation-aware weight quantization) — это метод посттренировочной квантизации, который сжимает веса LLM до низкой точности, обычно до 4-битных целых. По статистике активаций на небольшом калибровочном наборе он находит самые важные каналы весов и масштабирует их, чтобы они меньше теряли в точности. Обратное распространение ему не нужно.
- Eval (оценка LLM)
- Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.
- Few-shot промптинг (few-shot prompting)
- Few-shot промптинг — это приём, при котором в промпт перед реальным входом добавляют несколько готовых примеров «вход — выход», чтобы языковая модель по ним поняла задачу и формат. Веса модели не меняются; в zero-shot примеров нет, в one-shot — один.
- FP8
- FP8 — это 8-битный формат чисел с плавающей точкой для глубокого обучения, определённый в двух кодировках: E4M3 с 4 битами экспоненты и 3 битами мантиссы и E5M2 с 5 битами экспоненты и 2 битами мантиссы. По сравнению с 16-битными форматами он вдвое сокращает память и нативно поддерживается современными GPU.
- GGUF
- GGUF — это бинарный формат файлов для хранения языковых моделей и инференса в средах на базе GGML, таких как llama.cpp. Один файл GGUF содержит веса, часто квантизированные, и метаданные для загрузки модели, включая токенизатор и параметры архитектуры; его можно отобразить в память (mmap) для быстрой загрузки.
- INT4
- INT4 — это 4-битный целочисленный формат, способный представить 16 уровней. В инференсе LLM под ним обычно понимают 4-битную квантизацию только весов (W4A16): веса хранятся в INT4 с коэффициентами масштабирования и разворачиваются в 16 бит во время вычислений, занимая примерно четверть памяти 16-битных весов.
- KV-кэш (KV cache)
- KV-кэш — это память, в которой трансформерная языковая модель хранит ключи и значения внимания, вычисленные для каждого уже обработанного токена, чтобы каждый новый токен использовал их повторно, а не пересчитывал всю последовательность. Он растёт с длиной контекста и часто ограничивает число запросов, которые может обслужить GPU.
- LLM-as-a-judge (LLM в роли судьи)
- LLM-as-a-judge — это метод оценки, при котором языковая модель оценивает ответы других моделей: либо выставляет балл одному ответу по рубрике, либо выбирает лучший из двух. Он приближается к человеческому суждению при гораздо меньших затратах, но имеет известные перекосы, например предпочитает первый или более длинный ответ.
- Logprobs (логарифмы вероятностей токенов)
- Logprobs — это логарифмы вероятностей, которые языковая модель присвоила сгенерированным токенам. API, который их возвращает, показывает для каждого выходного токена, насколько вероятным его сочла модель, и при желании — самые вероятные альтернативные токены на этой позиции.
- LoRA (низкоранговая адаптация)
- LoRA (low-rank adaptation, низкоранговая адаптация) — это метод параметро-эффективного дообучения, который замораживает веса предобученной модели и обучает пару небольших низкоранговых матриц для выбранных слоёв. Выученное изменение можно хранить как небольшой адаптер или влить в веса, не добавляя задержки при инференсе.
- max_tokens
- max_tokens — это параметр LLM API, который задаёт максимальное число токенов, которое модель может сгенерировать в одном ответе. Когда генерация доходит до лимита, она останавливается, а ответ помечается как обрезанный, например значением finish_reason "length".
- Prefill и decode (префилл и декодирование)
- Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.
- Top-p (ядерное сэмплирование, nucleus sampling)
- Top-p, или ядерное сэмплирование (nucleus sampling), — это метод декодирования, при котором языковая модель выбирает следующий токен только из наименьшего набора самых вероятных токенов, чья суммарная вероятность достигает порога p, например 0,9, а маловероятный «хвост» отбрасывает.
- vLLM
- vLLM — это библиотека с открытым кодом для инференса и сервинга LLM, изначально созданная в Sky Computing Lab Калифорнийского университета в Беркли. Она управляет памятью KV-кэша с помощью PagedAttention, непрерывно батчит входящие запросы, поддерживает многие форматы квантизации и предоставляет OpenAI-совместимый HTTP-сервер.
Цены и оплата
- Безлимитный тариф LLM (flat-rate LLM plan)
- Безлимитный тариф LLM, или тариф с фиксированной ценой, — это доступ к API языковой модели за фиксированную плату за период, например месяц, вместо оплаты за токены. Обычно такие тарифы ограничивают что-то другое — параллельность, скорость, набор моделей или окна использования, поэтому ограничения важны не меньше цены.
- Вход из кэша (cached input tokens)
- Вход из кэша (cached input tokens) — это токены промпта, которые провайдер LLM недавно обработал и может взять из кэша, а не вычислять заново; обычно это повторяющийся префикс, например системный промпт или документ. Провайдеры тарифицируют их дешевле, чем новые входные токены.
- Входные и выходные токены (input and output tokens)
- Входные токены — это токены, которые языковая модель читает в запросе: системный промпт, история диалога, описания инструментов и изображения. Выходные токены — это токены, которые она генерирует в ответ, включая рассуждения. LLM API обычно тарифицируют их по отдельности, и выход, как правило, дороже.
- Лимит расходов (spend limit)
- Лимит расходов — это потолок суммы, которую аккаунт, проект или ключ API может потратить за период, обычно за месяц. Когда расход его достигает, провайдер отклоняет новые запросы, часто с ошибкой HTTP 429 или 400, пока не начнётся новый период или лимит не поднимут.
- Оплата по факту (pay-as-you-go)
- Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.
- Предоплаченный баланс (prepaid credit)
- Предоплаченный баланс — это деньги, внесённые на аккаунт API до начала использования. Каждый запрос списывает с баланса свою стоимость, а когда баланс заканчивается, запросы с оплатой за использование прекращаются, пока вы его не пополните. Расходы не могут превысить внесённую сумму.
- GPU-час (GPU-hour)
- GPU-час — это использование одного графического процессора в течение одного часа. Облачные провайдеры тарифицируют арендованные GPU-инстансы почасово или посекундно, а исследователи в GPU-часах указывают, сколько вычислений потребовала задача. Вы платите за время машины независимо от того, загружена она или нет.
Конфиденциальность и безопасность
- Белый список IP (IP allow list)
- Белый список IP — это механизм безопасности, который принимает запросы только с перечисленных IP-адресов или диапазонов CIDR и отклоняет все остальные. В API он ограничивает ущерб от утёкшего ключа, потому что ключ не работает из сетей, которых нет в списке.
- Джейлбрейк LLM (jailbreak)
- Джейлбрейк — это ввод, составленный так, чтобы языковая модель проигнорировала своё обучение безопасности или правила развернувшего её приложения и выдала контент или выполнила действия, от которых обычно отказывается. OWASP рассматривает джейлбрейк как разновидность промпт-инъекции.
- Локализация данных (data residency)
- Локализация данных (data residency) — это требование или обязательство хранить и обрабатывать данные в определённой стране или регионе. Для LLM API она касается того, где обрабатываются промпты во время инференса и где лежит сохранённый контент; данные аккаунта и биллинга в неё часто не входят.
- Нулевое хранение данных (ZDR)
- Нулевое хранение данных (ZDR) — это политика обработки данных, при которой AI-провайдер обрабатывает промпты и ответы только для выполнения запроса и после этого не сохраняет их содержимое ни в логах, ни в кэшах, ни в обучающих данных. Записи без содержимого, например число токенов и время выполнения, обычно всё же хранятся.
- Ограничители (guardrails)
- Ограничители (guardrails) — это проверки, которые приложение выполняет вокруг вызова языковой модели, чтобы удерживать её в заданных рамках. Входные проверяют то, что попадает в модель, выходные — то, что из неё выходит, а ограничители инструментов проверяют действия до их выполнения. Проваленная проверка блокирует, переписывает или помечает запрос.
- Персональные данные (PII)
- PII (personally identifiable information) — это информация, с помощью которой можно отличить или отследить личность человека, например имя, номер удостоверения или биометрические данные, а также другая информация, связанная или связываемая с ним. В GDPR используется более широкий термин «персональные данные». В работе с LLM маскирование PII удаляет их из промптов до того, как те покинут ваши системы.
- Промпт-инъекция (prompt injection)
- Промпт-инъекция — это атака, при которой текст, переданный языковой модели пользователем или спрятанный на веб-странице, в письме, файле или результате инструмента, меняет поведение модели вопреки замыслу разработчика. OWASP ставит её на первое место (LLM01:2025) в своём Top 10 для LLM-приложений.
- Соглашение об обработке данных (DPA)
- Соглашение об обработке данных (DPA) — это договор между контролёром и обработчиком, который определяет, как обработчик обращается с персональными данными. Его требует статья 28(3) GDPR и перечисляет содержание: документированные инструкции, конфиденциальность, безопасность, правила для субобработчиков, удаление или возврат данных и аудиты.
- Субобработчик (subprocessor)
- Субобработчик — это третья сторона, которую обработчик привлекает к обработке персональных данных от имени контролёра. У LLM API субобработчиками могут быть GPU-хосты, партнёрские провайдеры инференса и резервные мощности. По статье 28 GDPR им нужно разрешение контролёра и те же обязательства по защите данных.
- API-ключ (API key)
- API-ключ — это секретная строка, которая идентифицирует и авторизует клиента, вызывающего API. LLM API обычно ожидают его в заголовке Authorization: Bearer, и любой, у кого есть ключ, может отправлять запросы, оплачиваемые аккаунтом владельца ключа.
- GDPR (Общий регламент по защите данных)
- GDPR (General Data Protection Regulation, Регламент (ЕС) 2016/679) — это закон ЕС об обработке персональных данных. Он применяется с 25 мая 2018 года и распространяется на организации, учреждённые в ЕС, и на некоторые за его пределами. Для LLM API он регулирует договоры с обработчиками, международную передачу данных и их минимизацию.
- PDPL (законы о персональных данных Саудовской Аравии и ОАЭ)
- PDPL (Personal Data Protection Law) — это общее название закона Саудовской Аравии о персональных данных, принятого королевским указом M/19, за соблюдением которого следит SDAIA, и федерального декрета-закона ОАЭ № 45 от 2021 года. Оба регулируют обработку персональных данных и задают условия передачи за рубеж, включая промпты, отправленные в иностранные LLM API.
Речь
- Временные метки в распознавании речи (timestamps)
- Временные метки в распознавании речи — это время начала и конца в секундах, привязанное к частям расшифровки. Метки сегментов охватывают фразу или предложение, метки слов — каждое слово. Они нужны для субтитров, поиска внутри записей и сопоставления текста с говорящими.
- Детекция речевой активности (VAD)
- Детекция речевой активности (voice activity detection, VAD) — это этап обработки сигнала, который помечает короткие кадры аудио как речь или не речь. Речевые системы используют её, чтобы пропускать тишину, делить длинные записи по паузам, понимать, что собеседник договорил, и не транскрибировать фоновый шум.
- Диаризация дикторов (speaker diarization)
- Диаризация дикторов — это задача разбиения аудиозаписи на сегменты по говорящим, то есть ответ на вопрос «кто и когда говорил». Каждый отрезок речи получает анонимную метку диктора, например SPEAKER_00, и обычно её совмещают с расшифровкой, чтобы показать, кто произнёс каждую реплику.
- Доля ошибок в символах (character error rate, CER)
- Доля ошибок в символах (CER) — это мера точности транскрибации или OCR на уровне символов: число замен, удалений и вставок, нужных, чтобы превратить результат в эталонный текст, делённое на число символов в эталоне. Чем меньше, тем лучше; 0 означает полное совпадение.
- Доля ошибок в словах (word error rate, WER)
- Доля ошибок в словах (word error rate, WER) — это стандартная метрика точности распознавания речи: число замен, пропусков и вставок слов, нужных, чтобы превратить расшифровку в правильный эталон, делённое на число слов в эталоне. Чем меньше, тем лучше.
- Переключение кодов (code-switching)
- Переключение кодов — это использование двух или более языков либо вариантов одного языка в пределах одного разговора или предложения, устно или письменно. Например, арабоязычные люди вставляют английские слова в диалектную речь или переходят с современного литературного арабского на свой диалект и обратно.
- Распознавание речи (speech-to-text)
- Распознавание речи (speech-to-text, автоматическое распознавание речи, ASR) — это технология, которая превращает устную речь в письменный текст. API распознавания речи принимает аудиофайл или поток и возвращает расшифровку, обычно с оплатой за минуту аудио. Точность измеряют долей ошибок в словах (WER), и она зависит от акцента, диалекта и качества записи.
- Синтез речи (text-to-speech, TTS)
- Синтез речи (text-to-speech, TTS) — это преобразование письменного текста в звучащую речь. API TTS принимает текст, голос и формат вывода, например MP3 или WAV, и возвращает сгенерированную речь. Это обратная задача по отношению к распознаванию речи, которое превращает аудио в текст.
- Субтитры SRT (SRT subtitles)
- SRT (SubRip) — это текстовый формат субтитров. Каждый титр состоит из порядкового номера, времени начала и конца в виде hh:mm:ss,mmm --> hh:mm:ss,mmm, одной или нескольких строк текста и пустой строки. WebVTT — похожий веб-формат, который использует видео в HTML.
- Частота дискретизации (sample rate)
- Частота дискретизации — это число отсчётов звука, записываемых за секунду, в герцах (Гц). Модели распознавания речи обычно ожидают моно-аудио с частотой 16 000 Гц (16 кГц). Вместе с разрядностью и числом каналов частота дискретизации определяет, сколько весит минута несжатого аудио.
- Ogg Opus
- Ogg Opus — это аудио, закодированное кодеком Opus (RFC 6716) и упакованное в контейнер Ogg (RFC 7845). Формат создан для речи и интерактивного аудио на низких битрейтах, и именно в нём WhatsApp хранит голосовые сообщения, обычно в файлах .ogg или .opus.
- WAV
- WAV (Waveform Audio File Format, или WAVE) — это аудиоконтейнер на основе формата RIFF от Microsoft и IBM. Обычно он содержит несжатые отсчёты линейного PCM, поэтому его размер предсказуем: частота дискретизации × байт на отсчёт × число каналов за каждую секунду.
Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity
Источники