BroadRouter
시작하기

리랭킹(reranking)

업데이트

리랭킹(reranking)은 검색의 두 번째 단계로, 더 정확하지만 느린 모델(주로 크로스 인코더)이 1차 검색에서 나온 질의와 후보 문서 쌍마다 점수를 매겨 순서를 다시 정합니다. 그래서 가장 관련성 높은 몇 개만 언어 모델에 전달됩니다.

다른 이름: 리랭커, 재순위화, 재랭킹, 리랭크, 크로스 인코더, 크로스 인코더 리랭커, reranker, rerank, re-ranking, cross-encoder reranker

1차 검색은 빠르지만 거칩니다. 리랭킹은 짧은 목록에 더 많은 연산을 들여 순서를 바로잡습니다.

작동 방식

2단계 파이프라인입니다.

  1. 검색(retrieve). 벡터 데이터베이스의 임베딩, BM25, 하이브리드 검색 같은 빠른 방법으로 상위 50~100개 후보를 가져옵니다.
  2. 리랭킹(rerank). 리랭커가 질의와 각 후보를 함께 읽고 쌍마다 관련성 점수를 매깁니다. 상위 3~10개를 남깁니다.

대부분의 리랭커는 크로스 인코더입니다. Sentence Transformers 문서는 크로스 인코더가 “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,“(번역: 일반적으로 Sentence Transformer(바이 인코더) 모델보다 뛰어난 성능을 냅니다) 하지만 “it requires computation for each pair rather than each text.”(번역: 텍스트마다가 아니라 쌍마다 계산이 필요하기) 때문에 “Often slower”(번역: 대개 더 느립니다)라고 설명합니다. 또한 크로스 인코더가 바이 인코더 결과의 “often used to re-rank the top-k results”(번역: 상위 k개 결과를 다시 순위 매기는 데 자주 쓰인다)고 설명합니다.

from sentence_transformers import CrossEncoder

model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages)   # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]

이 방식은 적어도 Nogueira와 Cho(2019)까지 거슬러 올라갑니다. 이들은 BERT를 패시지 리랭커로 파인튜닝해, MS MARCO 패시지 검색에서 이전 최고 결과 대비 MRR@10이 상대적으로 27% 개선되었다고 보고했습니다.

호스팅형 리랭크 API도 있습니다. Cohere의 rerank 엔드포인트는 “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,“(번역: 질의와 텍스트 목록을 받아 각 텍스트에 관련성 점수를 매긴 정렬된 배열을 만듭니다) 점수는 0에서 1 범위로 정규화되며, top_n 필드로 결과 수를 제한합니다.

왜 중요한가

  • 답변 품질. LLM은 보낸 것만 쓸 수 있습니다. 순서가 좋아지면 올바른 청크가 프롬프트에 들어갑니다.
  • 토큰 비용. 좋은 리랭커가 있으면 청크 10개 대신 3개를 보낼 수 있어, 질문마다 입력 토큰이 줄어듭니다.
  • 지연 시간. 리랭커는 단계를 하나 더합니다. 비용은 후보 수에 따라 늘어나므로 목록을 짧게 유지하세요.

BroadNet Inference에서는

BroadNet은 리랭크 엔드포인트도, 임베딩 엔드포인트도 제공하지 않습니다. Sentence Transformers 등으로 크로스 인코더를 직접 실행하거나 호스팅형 리랭크 API를 쓴 뒤, 상위 청크를 OpenAI 호환 Chat Completions API로 BroadNet 채팅 모델에 보내세요.

아랍어 문서라면 리랭커가 아랍어나 다국어 데이터로 학습되었는지 확인하세요. 파이프라인의 나머지는 아랍어 RAG 검색에서 다룹니다. 코퍼스가 작다면 DeepSeek V4.1 Flash 같은 긴 컨텍스트 모델로 검색 단계를 건너뛸 수도 있습니다. 긴 컨텍스트와 RAG 비교를 참고하세요.

자주 묻는 질문

왜 전체 검색에 크로스 인코더를 쓰지 않나요?

질의와 문서 쌍마다 따로 점수를 매기므로 컬렉션 전체에 돌리기에는 너무 느립니다. 1단계가 수백만 개의 문서를 수십에서 수백 개로 좁히고, 리랭커는 그것들만 정렬합니다.

LLM을 리랭커로 쓸 수 있나요?

네. 채팅 모델에게 후보의 점수를 매기거나 순서를 정하게 할 수 있습니다. 다만 작은 크로스 인코더보다 대개 질의당 더 느리고 비싸므로, 자신의 데이터로 둘 다 테스트하세요.

후보를 몇 개나 리랭킹해야 하나요?

정답이 대개 그 안에 들어 있을 만큼입니다. 1단계 상위 20, 50, 100개 안에 정답 청크가 얼마나 자주 들어 있는지 측정하고, 재현율이 좋은 가장 작은 수를 고르세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기