Первичный поиск быстрый, но грубый. Реранкинг тратит больше вычислений на короткий список, чтобы правильно расставить порядок.
Как это работает
Двухэтапный пайплайн:
- Извлечение. Быстрый метод, например эмбеддинги в векторной базе данных, BM25 или гибридный поиск, возвращает топ-50–100 кандидатов.
- Реранкинг. Реранкер читает запрос вместе с каждым кандидатом и выставляет каждой паре оценку релевантности. Оставьте топ-3–10.
Большинство реранкеров — кросс-энкодеры. Документация Sentence Transformers говорит, что кросс-энкодер “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (перевод: «как правило, работает лучше, чем модель Sentence Transformer (то есть би-энкодер)»), но “Often slower” (перевод: «часто медленнее»), потому что “it requires computation for each pair rather than each text.” (перевод: «требует вычислений для каждой пары, а не для каждого текста».) Документация описывает кросс-энкодеры как модели, которые “often used to re-rank the top-k results” (перевод: «часто используются для переранжирования топ-k результатов») би-энкодера.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
Подход восходит как минимум к Nogueira и Cho (2019): они дообучили BERT как реранкер фрагментов и сообщили об относительном улучшении MRR@10 на 27 % по сравнению с лучшим на тот момент результатом в задаче поиска фрагментов MS MARCO.
Есть и облачные API для реранкинга. Эндпоинт rerank от Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (перевод: «принимает запрос и список текстов и возвращает упорядоченный массив, где каждому тексту присвоена оценка релевантности»), причём оценки нормированы в диапазоне от 0 до 1, а поле top_n ограничивает число результатов.
Почему это важно
- Качество ответов. LLM может использовать только то, что вы ей отправили. Лучший порядок помещает в промпт нужный фрагмент.
- Стоимость в токенах. С хорошим реранкером можно отправлять 3 фрагмента вместо 10, что сокращает входные токены на каждом вопросе.
- Задержка. Реранкер добавляет шаг. Его стоимость растёт с числом кандидатов, поэтому держите список коротким.
В BroadNet Inference
У BroadNet нет эндпоинта для реранкинга и эндпоинта для эмбеддингов. Запустите кросс-энкодер сами, например через Sentence Transformers, или используйте облачный API реранкинга, а затем отправьте лучшие фрагменты чат-модели BroadNet через OpenAI-совместимый Chat Completions API.
Для арабских документов проверьте, что ваш реранкер обучен на арабских или многоязычных данных; остальная часть пайплайна описана в статье об арабском RAG-поиске. Если корпус небольшой, модель с длинным контекстом, например DeepSeek V4.1 Flash, может позволить обойтись без извлечения; см. длинный контекст против RAG.