BroadRouter
Inizia

Embedding (embeddings)

Aggiornato

Gli embedding sono liste di numeri in virgola mobile (vettori) che un modello produce per rappresentare un testo, un’immagine o un altro input. Input con significato simile ottengono vettori vicini tra loro, quindi la distanza tra vettori serve a ordinare i risultati di ricerca, raggruppare documenti o trovare elementi correlati.

Detto anche: embedding, embedding di testo, vettori di embedding, rappresentazioni vettoriali, modello di embedding, embeddings, text embeddings, vector embeddings, embedding vectors, embedding model, sentence embeddings

Un embedding è il modo in cui un computer misura il significato: due testi che dicono cose simili ottengono due vettori che puntano in direzioni simili.

Come funziona

Invii un testo a un modello di embedding e ricevi un vettore di lunghezza fissa. La guida di OpenAI lo dice chiaramente: “An embedding is a vector (list) of floating point numbers.” (traduzione: un embedding è un vettore, cioè una lista, di numeri in virgola mobile). La lunghezza è fissa per ogni modello. text-embedding-3-small di OpenAI restituisce 1.536 numeri per impostazione predefinita e text-embedding-3-large 3.072.

Per confrontare due testi confronti i loro vettori. OpenAI consiglia la similarità del coseno. I suoi vettori sono normalizzati a lunghezza 1, quindi un semplice prodotto scalare dà lo stesso ordinamento. Un vettore di query confrontato con milioni di vettori salvati è il cuore della ricerca semantica. Farlo velocemente su larga scala è il compito di un database vettoriale.

I modelli di embedding sono un tipo di modello diverso dai modelli di chat. Leggono un intero input e restituiscono numeri; non generano testo. Si pagano per token di input, e non c’è testo di output da pagare.

Perché è importante

  • Retrieval. Gli embedding sono di solito il primo passo della retrieval-augmented generation: calcoli una volta gli embedding dei documenti, poi quelli di ogni domanda, recuperi i chunk più vicini e li passi al modello di chat.
  • La scelta del modello cambia i risultati. Il benchmark MTEB ha testato 33 modelli su 8 tipi di task, 58 dataset e 112 lingue, e ha concluso che “no particular text embedding method dominates across all tasks” (traduzione: nessun metodo di text embedding domina su tutti i task). Fai prove sulle tue query, soprattutto per l’arabo o per testi in più lingue.
  • Lock-in. I vettori di un modello non si possono confrontare con quelli di un altro. Cambiare modello di embedding significa ricalcolare gli embedding dell’intero corpus.

Su BroadNet Inference

La documentazione di BroadNet elenca /v1/chat/completions, /v1/audio/transcriptions e GET /v1/models (l’elenco dei modelli). Non c’è un endpoint per gli embedding. Per un sistema di ricerca o RAG, abbina un modello di embedding separato (un’API ospitata o un modello open che esegui tu) a un modello di chat BroadNet per la risposta. La guida alla RAG in arabo mostra questa divisione con un modello di embedding multilingue.

Se i tuoi documenti ci stanno, una finestra di contesto lunga a volte permette di saltare del tutto il retrieval. I compromessi sono in contesto lungo o RAG.

Errori comuni

  • Mescolare in un unico indice vettori di due modelli di embedding diversi.
  • Calcolare l’embedding di documenti interi invece che dei chunk. Un solo vettore per 50 pagine sfuma tutti gli argomenti che contengono.
  • Normalizzare i documenti ma non le query, o il contrario. Applica la stessa pulizia del testo a entrambi.

Domande frequenti

Embedding e token sono la stessa cosa?

No. Un token è un pezzo di testo che il modello legge. Un embedding è il vettore che il modello di embedding restituisce per un intero input, come una frase o un paragrafo.

Quante dimensioni ha un embedding?

Dipende dal modello. text-embedding-3-small di OpenAI restituisce 1.536 numeri per impostazione predefinita e text-embedding-3-large 3.072, ed entrambi si possono accorciare con un parametro dimensions.

BroadNet Inference ha un endpoint per gli embedding?

No. La documentazione di BroadNet elenca solo /v1/chat/completions e /v1/audio/transcriptions. Usa un modello di embedding separato per il retrieval e BroadNet per la fase di generazione.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity