A primeira busca é rápida, mas grosseira. O reranking gasta mais processamento em uma lista curta para acertar a ordem.
Como funciona
Um pipeline em duas etapas:
- Recuperação. Um método rápido, como embeddings em um banco de dados vetorial, BM25 ou busca híbrida, devolve os 50 a 100 melhores candidatos.
- Reranking. Um reranker lê a consulta e cada candidato juntos e dá a cada par uma pontuação de relevância. Fique com os 3 a 10 primeiros.
A maioria dos rerankers são cross-encoders. A documentação do Sentence Transformers diz que um cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (tradução: em geral oferece desempenho superior ao de um modelo Sentence Transformer, também chamado de bi-encoder), mas é “Often slower” (tradução: muitas vezes mais lento) porque “it requires computation for each pair rather than each text.” (tradução: exige processamento para cada par, e não para cada texto). A documentação descreve os cross-encoders como “often used to re-rank the top-k results” (tradução: muito usados para reordenar os top-k resultados) de um bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
A abordagem remonta pelo menos a Nogueira e Cho (2019), que fizeram fine-tuning do BERT como reordenador de passagens e relataram uma melhora relativa de 27% no MRR@10 sobre o melhor resultado anterior em recuperação de passagens do MS MARCO.
Também existem APIs de rerank hospedadas. O endpoint de rerank da Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (tradução: recebe uma consulta e uma lista de textos e produz um array ordenado em que cada texto recebe uma pontuação de relevância), com pontuações normalizadas no intervalo de 0 a 1 e um campo top_n para limitar os resultados.
Por que importa
- Qualidade da resposta. O LLM só pode usar o que você envia. Uma ordem melhor coloca o chunk certo no prompt.
- Custo em tokens. Com um bom reranker, você pode enviar 3 chunks em vez de 10, o que corta tokens de entrada em toda pergunta.
- Latência. O reranker acrescenta uma etapa. O custo dele cresce com o número de candidatos, então mantenha essa lista curta.
Na BroadNet Inference
A BroadNet não oferece endpoint de rerank nem de embeddings. Rode um cross-encoder por conta própria, por exemplo com o Sentence Transformers, ou use uma API de rerank hospedada, e depois envie os melhores chunks a um modelo de chat da BroadNet pela Chat Completions API compatível com a OpenAI.
Para documentos em árabe, confira se o seu reranker foi treinado com dados em árabe ou multilíngues; a busca RAG em árabe cobre o resto do pipeline. Se o seu corpus for pequeno, um modelo de contexto longo como o DeepSeek V4.1 Flash pode permitir que você pule a recuperação; veja contexto longo vs. RAG.