La primera búsqueda es rápida pero tosca. El reranking dedica más cómputo a una lista corta para acertar con el orden.
Cómo funciona
Un pipeline en dos etapas:
- Recuperar. Un método rápido, como embeddings en una base de datos vectorial, BM25 o búsqueda híbrida, devuelve los 50 a 100 mejores candidatos.
- Reordenar. Un reranker lee la consulta y cada candidato juntos y da a cada par una puntuación de relevancia. Quédese con los 3 a 10 mejores.
La mayoría de los rerankers son cross-encoders. La documentación de Sentence Transformers dice que un cross-encoder “Generally provides superior performance compared to a Sentence Transformer (a.k.a. bi-encoder) model,” (traducción: en general ofrece un rendimiento superior al de un modelo Sentence Transformer, también llamado bi-encoder) pero es “Often slower” (traducción: a menudo más lento) porque “it requires computation for each pair rather than each text.” (traducción: requiere cálculo por cada par y no por cada texto.) La documentación describe los cross-encoders como “often used to re-rank the top-k results” (traducción: usados a menudo para reordenar los k mejores resultados) de un bi-encoder.
from sentence_transformers import CrossEncoder
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L6-v2")
ranks = model.rank(query, passages) # passages from your first-stage search
top = [passages[r["corpus_id"]] for r in ranks[:5]]
El enfoque se remonta al menos a Nogueira y Cho (2019), que ajustaron BERT como reordenador de pasajes y reportaron una mejora relativa del 27 % en MRR@10 sobre el mejor resultado anterior en la recuperación de pasajes de MS MARCO.
También existen APIs de rerank alojadas. El endpoint de rerank de Cohere “takes in a query and a list of texts and produces an ordered array with each text assigned a relevance score,” (traducción: recibe una consulta y una lista de textos y produce un array ordenado en el que cada texto tiene asignada una puntuación de relevancia), con puntuaciones normalizadas en el rango de 0 a 1 y un campo top_n para limitar los resultados.
Por qué importa
- Calidad de la respuesta. El LLM solo puede usar lo que usted le envía. Un mejor orden pone el fragmento correcto en el prompt.
- Coste en tokens. Con un buen reranker puede enviar 3 fragmentos en lugar de 10, lo que reduce los tokens de entrada en cada pregunta.
- Latencia. El reranker añade un paso. Su coste crece con el número de candidatos, así que mantenga esa lista corta.
En BroadNet Inference
BroadNet no ofrece un endpoint de rerank ni un endpoint de embeddings. Ejecute usted mismo un cross-encoder, por ejemplo con Sentence Transformers, o use una API de rerank alojada, y luego envíe los mejores fragmentos a un modelo de chat de BroadNet a través de la API de Chat Completions compatible con OpenAI.
Para documentos en árabe, compruebe que su reranker se entrenó con datos en árabe o multilingües; búsqueda RAG en árabe cubre el resto del pipeline. Si su corpus es pequeño, un modelo de contexto largo como DeepSeek V4.1 Flash puede permitirle prescindir de la recuperación; consulte contexto largo frente a RAG.