Поиск по ключевым словам находит точные слова. Векторный поиск находит смысл. Гибридный поиск запускает оба и объединяет результаты.
Как это работает
Запрос одновременно уходит в два ретривера:
- По ключевым словам: BM25 по инвертированному индексу. Силён на именах, кодах и редких терминах.
- Векторный: поиск ближайших соседей по эмбеддингам в векторной базе данных. Силён на перефразах и синонимах.
Оценки двух ретриверов живут в разных шкалах, поэтому большинство систем объединяют их по рангу или по нормализованной оценке.
Reciprocal rank fusion (RRF) из работы Cormack, Clarke и Büttcher (SIGIR 2009) суммирует слагаемые по каждому списку, в котором встречается документ. Elasticsearch описывает цикл как score += 1.0 / (k + rank(result(q), d)), где константа ранга k по умолчанию равна 60. В документации сказано: “RRF requires no tuning.” (перевод: «RRF не требует настройки».)
Пример расчёта при k = 60:
| Документ | Ранг в BM25 | Ранг в векторном поиске | Оценка RRF |
|---|---|---|---|
| A | 1 | 3 | 1/61 + 1/63 = 0,0323 |
| B | 2 | 1 | 1/62 + 1/61 = 0,0325 |
| C | не найден | 2 | 1/62 = 0,0161 |
B побеждает, потому что оба ретривера ставят его высоко.
Взвешенное слияние — второй распространённый метод. Метод Weaviate по умолчанию начиная с v1.24, relativeScoreFusion, нормализует оценки каждого поиска и складывает их с весами. Параметр alpha задаёт баланс: 0 — только ключевые слова, 1 — только векторы, 0,75 — значение по умолчанию на сервере. Документация рекомендует задавать alpha явно: значение 0,75 по умолчанию применяется, только если запрос доходит до сервера без alpha, а не каждая клиентская библиотека оставляет его незаданным, так что реальный вес может отличаться.
После слияния многие конвейеры добавляют реранкер поверх лучших результатов.
Почему это важно
- Полнота. Реальные запросы смешивают точные термины и свободные формулировки. Один ретривер пропускает часть из них.
- Арабский язык. Арабское написание вариативно (формы алифа, та марбута, огласовки), и без нормализации текста точное совпадение по ключевым словам страдает. Векторный поиск даёт второй путь к нужному фрагменту. Смотрите поиск для RAG на арабском и нормализацию арабского текста для поиска.
- Меньше токенов. Чем точнее извлечение, тем меньше фрагментов уходит в LLM на каждый вопрос.
В BroadNet Inference
Гибридный поиск работает в вашем поисковом стеке: Elasticsearch, OpenSearch, Weaviate или аналогах. BroadNet не предлагает эндпоинтов для эмбеддингов или реранкинга, поэтому эмбеддинги получайте у другого провайдера или от локальной модели. Объединённые лучшие фрагменты отправляйте чат-модели BroadNet, например Qwen3.8 27B или GLM 5.3, через Chat Completions API. Для небольших корпусов сравните это с вариантом, когда документы целиком кладутся в длинный контекст; смотрите длинный контекст или RAG.