Um banco de dados vetorial responde muito rápido a uma única pergunta: quais itens armazenados têm significado próximo desta consulta?
Como funciona
Cada registro é um embedding, uma lista de números de tamanho fixo, mais metadados como o texto de origem, um ID de documento e uma data. Na hora da consulta, você gera o embedding da pergunta com o mesmo modelo e pede os top k vetores mais próximos.
“Mais próximo” exige uma medida de distância. O pgvector, a extensão do Postgres, oferece três operadores: <-> para distância euclidiana (L2), <#> para produto interno negativo e <=> para distância de cosseno. Use aquela para a qual o seu modelo de embedding foi treinado; a OpenAI recomenda similaridade de cosseno para os vetores dela.
Comparar uma consulta com todos os vetores armazenados é exato, mas lento em escala. Índices de vizinhos mais próximos aproximados (ANN) evitam isso:
| Índice | Como funciona | Trade-off (segundo a documentação do pgvector) |
|---|---|---|
| HNSW | Grafo de proximidade em camadas | Melhor relação velocidade-recall, construção mais lenta, mais memória |
| IVFFlat | Vetores agrupados em listas | Construção mais rápida, menos memória, consultas mais lentas com o mesmo recall |
O artigo do HNSW, de Malkov e Yashunin, descreve uma pilha de grafos em que a busca começa pelas camadas superiores, mais esparsas, o que “allows a logarithmic complexity scaling” (tradução: permite um crescimento logarítmico da complexidade). O README do pgvector resume o acordo: um índice aproximado “trades some recall for speed” (tradução: troca um pouco de recall por velocidade).
Por que isso importa
- É o retriever na maioria dos sistemas de RAG. Se o armazenamento não encontra o chunk certo, o LLM nunca o vê.
- Recall é uma configuração, não uma garantia. Os parâmetros de ANN mudam quais resultados voltam. Meça o recall em consultas reais.
- Filtros. Consultas reais adicionam condições como idioma, cliente ou data. Confira se os filtros são aplicados antes do ranking, e não depois de um corte top-k que descarta resultados válidos.
Na BroadNet Inference
A BroadNet não hospeda armazenamento vetorial e a documentação dela não lista um endpoint de embeddings. Uma configuração típica é um armazenamento vetorial seu, um modelo de embedding de outra fonte e um modelo de chat da BroadNet que escreve a resposta a partir dos chunks recuperados. Para corpora pequenos, uma janela de contexto grande pode substituir o armazenamento; veja contexto longo vs RAG. Para texto em árabe, busca RAG em árabe explica por que um índice de palavras-chave ao lado do índice vetorial ajuda.
Erros comuns
- Consultar com um modelo de embedding diferente do usado para indexar.
- Ajustar o prompt do LLM quando o problema real é o baixo recall da recuperação.