Эмбеддинг — это способ, которым компьютер измеряет смысл: два текста, говорящие похожее, получают два вектора, направленных в похожие стороны.
Как это работает
Вы отправляете текст в модель эмбеддингов и получаете один вектор фиксированной длины. Руководство OpenAI формулирует просто: “An embedding is a vector (list) of floating point numbers” (перевод: «Эмбеддинг — это вектор (список) чисел с плавающей точкой»). Длина у каждой модели своя и постоянная: text-embedding-3-small от OpenAI по умолчанию возвращает 1536 чисел, а text-embedding-3-large — 3072.
Чтобы сравнить два текста, сравнивают их векторы. OpenAI рекомендует косинусное сходство. Её векторы нормализованы к длине 1, поэтому обычное скалярное произведение даёт тот же порядок. Сравнение вектора запроса с миллионами сохранённых векторов — основа семантического поиска. Делать это быстро в больших масштабах — задача векторной базы данных.
Модели эмбеддингов — это другой вид моделей, не чат-модели. Они читают вход целиком и возвращают числа, а текст не генерируют. Оплата идёт за входные токены, а выходного текста, за который нужно платить, нет.
Почему это важно
- Поиск. Эмбеддинги — обычный первый шаг генерации, дополненной поиском (RAG): один раз превращаете документы в эмбеддинги, затем для каждого вопроса делаете эмбеддинг, находите ближайшие фрагменты и передаёте их чат-модели.
- От модели зависит результат. Бенчмарк MTEB проверил 33 модели на 8 типах задач, 58 наборах данных и 112 языках и пришёл к выводу, что “no particular text embedding method dominates across all tasks” (перевод: «ни один метод текстовых эмбеддингов не лидирует во всех задачах»). Проверяйте на своих запросах, особенно для арабского или многоязычного текста.
- Привязка к модели. Векторы одной модели нельзя сравнивать с векторами другой. Сменить модель эмбеддингов — значит заново обработать весь корпус.
В BroadNet Inference
Документация BroadNet указывает /v1/chat/completions, /v1/audio/transcriptions и GET /v1/models (список моделей). Эндпоинта для эмбеддингов нет. Для поиска или RAG-системы сочетайте отдельную модель эмбеддингов (облачный API или открытую модель, которую вы запускаете сами) с чат-моделью BroadNet для ответа. Руководство по RAG на арабском показывает такое разделение с многоязычной моделью эмбеддингов.
Если документы помещаются в контекст, длинное контекстное окно иногда позволяет обойтись без поиска вовсе. Плюсы и минусы — в статье «длинный контекст или RAG».
Частые ошибки
- Смешивать в одном индексе векторы от двух моделей эмбеддингов.
- Делать эмбеддинги целых документов вместо фрагментов. Один вектор на 50 страниц размывает все темы внутри.
- Нормализовать документы, но не запросы, или наоборот. Очищайте текст одинаково в обоих случаях.