Un embedding es la forma en que una computadora mide el significado: dos textos que dicen cosas parecidas obtienen dos vectores que apuntan en direcciones parecidas.
Cómo funciona
Usted envía texto a un modelo de embeddings y recibe un vector de longitud fija. La guía de OpenAI lo dice sin rodeos: “An embedding is a vector (list) of floating point numbers.” (traducción: un embedding es un vector, una lista, de números de punto flotante.) La longitud es fija para cada modelo. text-embedding-3-small de OpenAI devuelve 1,536 números de forma predeterminada y text-embedding-3-large devuelve 3,072.
Para comparar dos textos, se comparan sus vectores. OpenAI recomienda la similitud coseno. Sus vectores están normalizados a longitud 1, así que un simple producto punto da el mismo orden. Comparar un vector de consulta con millones de vectores almacenados es el núcleo de la búsqueda semántica. Hacerlo rápido y a escala es la tarea de una base de datos vectorial.
Los modelos de embeddings son un tipo de modelo distinto de los modelos de chat. Leen una entrada completa y devuelven números; no generan texto. Se cobran por token de entrada, y no hay texto de salida que pagar.
Por qué importa
- Recuperación. Los embeddings son el primer paso habitual de la generación aumentada por recuperación: genere una vez los embeddings de sus documentos, genere el de cada pregunta, traiga los fragmentos más cercanos y páselos al modelo de chat.
- El modelo elegido cambia los resultados. El benchmark MTEB probó 33 modelos en 8 tipos de tareas, 58 conjuntos de datos y 112 idiomas, y concluyó que “no particular text embedding method dominates across all tasks” (traducción: ningún método de embeddings de texto domina en todas las tareas). Pruebe con sus propias consultas, sobre todo para texto en árabe o en varios idiomas.
- Dependencia. Los vectores de un modelo no se pueden comparar con los de otro. Cambiar de modelo de embeddings implica volver a generar los embeddings de todo el corpus.
En BroadNet Inference
La documentación de BroadNet incluye /v1/chat/completions, /v1/audio/transcriptions y GET /v1/models (una lista de modelos). No hay endpoint de embeddings. Para un sistema de búsqueda o de RAG, combine un modelo de embeddings aparte (una API alojada o un modelo abierto que ejecute usted mismo) con un modelo de chat de BroadNet para la respuesta. La guía de RAG en árabe muestra esta división con un modelo de embeddings multilingüe.
Si sus documentos caben, una ventana de contexto larga a veces permite saltarse la recuperación por completo. Las ventajas y desventajas están en contexto largo vs. RAG.
Errores comunes
- Mezclar vectores de dos modelos de embeddings en un mismo índice.
- Generar embeddings de documentos enteros en lugar de fragmentos. Un solo vector para 50 páginas difumina todos sus temas.
- Normalizar los documentos pero no las consultas, o al revés. Aplique la misma limpieza de texto a ambos.