1차 검색은 빠르지만 거칩니다. 리랭킹은 짧은 목록에 더 많은 연산을 들여 순서를 바로잡습니다.
작동 방식
2단계 파이프라인입니다.
- 검색(retrieve). 벡터 데이터베이스의 임베딩, BM25, 하이브리드 검색 같은 빠른 방법으로 상위 50~100개 후보를 가져옵니다.
- 리랭킹(rerank). 리랭커가 질의와 각 후보를 함께 읽고 쌍마다 관련성 점수를 매깁니다. 상위 3~10개를 남깁니다.
대부분의 리랭커는 크로스 인코더입니다. Sentence Transformers 문서는 크로스 인코더가 “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(번역: 일반적으로 Sentence Transformer(바이 인코더) 모델보다 뛰어난 성능을 냅니다) 하지만 “it requires computation for each pair rather than each text.”(번역: 텍스트마다가 아니라 쌍마다 계산이 필요하기) 때문에 “Often slower”(번역: 대개 더 느립니다)라고 설명합니다. 또한 크로스 인코더가 바이 인코더 결과의 “often used to re-rank the top-k results”(번역: 상위 k개 결과를 다시 순위 매기는 데 자주 쓰인다)고 설명합니다.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
이 방식은 적어도 Nogueira와 Cho(2019)까지 거슬러 올라갑니다. 이들은 BERT를 패시지 리랭커로 파인튜닝해, MS MARCO 패시지 검색에서 이전 최고 결과 대비 MRR@10이 상대적으로 27% 개선되었다고 보고했습니다.
호스팅형 리랭크 API도 있습니다. Cohere의 rerank 엔드포인트는 “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(번역: 질의와 텍스트 목록을 받아 각 텍스트에 관련성 점수를 매긴 정렬된 배열을 만듭니다) 점수는 0에서 1 범위로 정규화되며, top_n 필드로 결과 수를 제한합니다.
왜 중요한가
- 답변 품질. LLM은 보낸 것만 쓸 수 있습니다. 순서가 좋아지면 올바른 청크가 프롬프트에 들어갑니다.
- 토큰 비용. 좋은 리랭커가 있으면 청크 10개 대신 3개를 보낼 수 있어, 질문마다 입력 토큰이 줄어듭니다.
- 지연 시간. 리랭커는 단계를 하나 더합니다. 비용은 후보 수에 따라 늘어나므로 목록을 짧게 유지하세요.
BroadNet Inference에서는
BroadNet은 리랭크 엔드포인트도, 임베딩 엔드포인트도 제공하지 않습니다. Sentence Transformers 등으로 크로스 인코더를 직접 실행하거나 호스팅형 리랭크 API를 쓴 뒤, 상위 청크를 OpenAI 호환 Chat Completions API로 BroadNet 채팅 모델에 보내세요.
아랍어 문서라면 리랭커가 아랍어나 다국어 데이터로 학습되었는지 확인하세요. 파이프라인의 나머지는 아랍어 RAG 검색에서 다룹니다. 코퍼스가 작다면 DeepSeek V4.1 Flash 같은 긴 컨텍스트 모델로 검색 단계를 건너뛸 수도 있습니다. 긴 컨텍스트와 RAG 비교를 참고하세요.