Векторная база данных очень быстро отвечает на один вопрос: какие из сохранённых элементов близки по смыслу к этому запросу?
Как это работает
Каждая запись — это эмбеддинг, список чисел фиксированной длины, плюс метаданные: исходный текст, ID документа, дата. Во время запроса вы получаете эмбеддинг вопроса той же моделью и запрашиваете top-k ближайших векторов.
Чтобы определить «ближайшие», нужна мера расстояния. pgvector, расширение для Postgres, предлагает три оператора: <-> для евклидова (L2) расстояния, <#> для отрицательного скалярного произведения и <=> для косинусного расстояния. Используйте ту меру, под которую обучена ваша модель эмбеддингов; для своих векторов OpenAI рекомендует косинусное сходство.
Сравнение запроса с каждым сохранённым вектором даёт точный результат, но на больших объёмах работает медленно. Индексы приближённого поиска ближайших соседей (ANN) этого избегают:
| Индекс | Как устроен | Компромисс (по документации pgvector) |
|---|---|---|
| HNSW | Многослойный граф близости | Лучше соотношение скорости и полноты, дольше построение, больше памяти |
| IVFFlat | Векторы сгруппированы в списки | Быстрее построение, меньше памяти, ниже скорость запросов при той же полноте |
Статья Малкова и Яшунина об HNSW описывает стопку графов, где поиск начинается с разреженных верхних слоёв, что “allows a logarithmic complexity scaling” (перевод: «позволяет добиться логарифмического роста сложности»). README pgvector формулирует суть сделки так: приближённый индекс “trades some recall for speed” (перевод: «жертвует частью полноты ради скорости»).
Почему это важно
- Это ретривер в большинстве систем RAG. Если хранилище не найдёт нужный фрагмент, LLM его так и не увидит.
- Полнота — это настройка, а не данность. Параметры ANN влияют на то, какие результаты вернутся. Измеряйте полноту на реальных запросах.
- Фильтрация. Реальные запросы добавляют условия: язык, клиент, дата. Проверьте, что фильтры применяются до ранжирования, а не после отсечения top-k, которое выбрасывает подходящие результаты.
В BroadNet Inference
BroadNet не предоставляет хранилище векторов, и в её документации нет эндпоинта эмбеддингов. Типичная схема: собственное векторное хранилище, модель эмбеддингов из другого источника и чат-модель BroadNet, которая пишет ответ по найденным фрагментам. Для небольших корпусов хранилище может заменить большое контекстное окно; см. длинный контекст против RAG. Для арабского текста статья Арабский RAG-поиск объясняет, почему рядом с векторным индексом полезен индекс по ключевым словам.
Частые ошибки
- Запрашивать эмбеддингом другой модели, чем та, которой индексировали.
- Подкручивать промпт LLM, когда настоящая проблема в низкой полноте поиска.