Un embedding è il modo in cui un computer misura il significato: due testi che dicono cose simili ottengono due vettori che puntano in direzioni simili.
Come funziona
Invii un testo a un modello di embedding e ricevi un vettore di lunghezza fissa. La guida di OpenAI lo dice chiaramente: “An embedding is a vector (list) of floating point numbers.” (traduzione: un embedding è un vettore, cioè una lista, di numeri in virgola mobile). La lunghezza è fissa per ogni modello. text-embedding-3-small di OpenAI restituisce 1.536 numeri per impostazione predefinita e text-embedding-3-large 3.072.
Per confrontare due testi confronti i loro vettori. OpenAI consiglia la similarità del coseno. I suoi vettori sono normalizzati a lunghezza 1, quindi un semplice prodotto scalare dà lo stesso ordinamento. Un vettore di query confrontato con milioni di vettori salvati è il cuore della ricerca semantica. Farlo velocemente su larga scala è il compito di un database vettoriale.
I modelli di embedding sono un tipo di modello diverso dai modelli di chat. Leggono un intero input e restituiscono numeri; non generano testo. Si pagano per token di input, e non c’è testo di output da pagare.
Perché è importante
- Retrieval. Gli embedding sono di solito il primo passo della retrieval-augmented generation: calcoli una volta gli embedding dei documenti, poi quelli di ogni domanda, recuperi i chunk più vicini e li passi al modello di chat.
- La scelta del modello cambia i risultati. Il benchmark MTEB ha testato 33 modelli su 8 tipi di task, 58 dataset e 112 lingue, e ha concluso che “no particular text embedding method dominates across all tasks” (traduzione: nessun metodo di text embedding domina su tutti i task). Fai prove sulle tue query, soprattutto per l’arabo o per testi in più lingue.
- Lock-in. I vettori di un modello non si possono confrontare con quelli di un altro. Cambiare modello di embedding significa ricalcolare gli embedding dell’intero corpus.
Su BroadNet Inference
La documentazione di BroadNet elenca /v1/chat/completions, /v1/audio/transcriptions e GET /v1/models (l’elenco dei modelli). Non c’è un endpoint per gli embedding. Per un sistema di ricerca o RAG, abbina un modello di embedding separato (un’API ospitata o un modello open che esegui tu) a un modello di chat BroadNet per la risposta. La guida alla RAG in arabo mostra questa divisione con un modello di embedding multilingue.
Se i tuoi documenti ci stanno, una finestra di contesto lunga a volte permette di saltare del tutto il retrieval. I compromessi sono in contesto lungo o RAG.
Errori comuni
- Mescolare in un unico indice vettori di due modelli di embedding diversi.
- Calcolare l’embedding di documenti interi invece che dei chunk. Un solo vettore per 50 pagine sfuma tutti gli argomenti che contengono.
- Normalizzare i documenti ma non le query, o il contrario. Applica la stessa pulizia del testo a entrambi.