BroadRouter
Начать

Эмбеддинги (embeddings)

Обновлено

Эмбеддинги — это списки чисел с плавающей точкой (векторы), которые модель выдаёт для фрагмента текста, изображения или другого входа. Близкие по смыслу входы получают близкие векторы, поэтому расстояние между векторами позволяет ранжировать результаты поиска, группировать документы или находить похожие объекты.

Также называют: эмбеддинг, векторные представления, векторное представление текста, текстовые эмбеддинги, модель эмбеддингов, embeddings, text embeddings, vector embeddings, embedding vectors, embedding model, sentence embeddings

Эмбеддинг — это способ, которым компьютер измеряет смысл: два текста, говорящие похожее, получают два вектора, направленных в похожие стороны.

Как это работает

Вы отправляете текст в модель эмбеддингов и получаете один вектор фиксированной длины. Руководство OpenAI формулирует просто: “An embedding is a vector (list) of floating point numbers” (перевод: «Эмбеддинг — это вектор (список) чисел с плавающей точкой»). Длина у каждой модели своя и постоянная: text-embedding-3-small от OpenAI по умолчанию возвращает 1536 чисел, а text-embedding-3-large — 3072.

Чтобы сравнить два текста, сравнивают их векторы. OpenAI рекомендует косинусное сходство. Её векторы нормализованы к длине 1, поэтому обычное скалярное произведение даёт тот же порядок. Сравнение вектора запроса с миллионами сохранённых векторов — основа семантического поиска. Делать это быстро в больших масштабах — задача векторной базы данных.

Модели эмбеддингов — это другой вид моделей, не чат-модели. Они читают вход целиком и возвращают числа, а текст не генерируют. Оплата идёт за входные токены, а выходного текста, за который нужно платить, нет.

Почему это важно

  • Поиск. Эмбеддинги — обычный первый шаг генерации, дополненной поиском (RAG): один раз превращаете документы в эмбеддинги, затем для каждого вопроса делаете эмбеддинг, находите ближайшие фрагменты и передаёте их чат-модели.
  • От модели зависит результат. Бенчмарк MTEB проверил 33 модели на 8 типах задач, 58 наборах данных и 112 языках и пришёл к выводу, что “no particular text embedding method dominates across all tasks” (перевод: «ни один метод текстовых эмбеддингов не лидирует во всех задачах»). Проверяйте на своих запросах, особенно для арабского или многоязычного текста.
  • Привязка к модели. Векторы одной модели нельзя сравнивать с векторами другой. Сменить модель эмбеддингов — значит заново обработать весь корпус.

В BroadNet Inference

Документация BroadNet указывает /v1/chat/completions, /v1/audio/transcriptions и GET /v1/models (список моделей). Эндпоинта для эмбеддингов нет. Для поиска или RAG-системы сочетайте отдельную модель эмбеддингов (облачный API или открытую модель, которую вы запускаете сами) с чат-моделью BroadNet для ответа. Руководство по RAG на арабском показывает такое разделение с многоязычной моделью эмбеддингов.

Если документы помещаются в контекст, длинное контекстное окно иногда позволяет обойтись без поиска вовсе. Плюсы и минусы — в статье «длинный контекст или RAG».

Частые ошибки

  • Смешивать в одном индексе векторы от двух моделей эмбеддингов.
  • Делать эмбеддинги целых документов вместо фрагментов. Один вектор на 50 страниц размывает все темы внутри.
  • Нормализовать документы, но не запросы, или наоборот. Очищайте текст одинаково в обоих случаях.

Вопросы и ответы

Эмбеддинги — это то же самое, что токены?

Нет. Токен — это кусочек текста, который читает модель. Эмбеддинг — это вектор, который модель эмбеддингов выдаёт для всего входа, например предложения или абзаца.

Сколько измерений у эмбеддинга?

Зависит от модели. text-embedding-3-small от OpenAI по умолчанию возвращает 1536 чисел, а text-embedding-3-large — 3072, и обе можно укоротить параметром dimensions.

Есть ли в BroadNet Inference эндпоинт для эмбеддингов?

Нет. Документация BroadNet указывает только /v1/chat/completions и /v1/audio/transcriptions. Для поиска используйте отдельную модель эмбеддингов, а BroadNet — для этапа генерации.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity