La RAG dà al modello un libro aperto: prima che risponda, il tuo codice cerca le pagine pertinenti e le mette nel prompt.
Come funziona
Il termine viene da Lewis et al. (2020). Gli autori hanno abbinato un modello generatore (“parametric memory”, memoria parametrica) a “a dense vector index of Wikipedia” (traduzione: un indice vettoriale denso di Wikipedia), cioè la “non-parametric memory” (memoria non parametrica), raggiunto tramite un retriever neurale, e hanno riportato risultati migliori nel question answering a dominio aperto rispetto ai modelli che si affidavano solo ai propri pesi.
Una pipeline RAG moderna con un’API LLM di solito è fatta così:
- Indicizzazione. Dividi i documenti in chunk, trasforma ciascuno in embedding e salvali in un database vettoriale, spesso accanto a un indice per parole chiave.
- Recupero. Calcola l’embedding della domanda dell’utente e recupera i chunk più simili, per esempio da 5 a 20.
- Generazione. Metti quei chunk nel prompt con l’istruzione di rispondere solo in base a essi e di citarli. Invia tutto al modello di chat.
Il modello non cerca mai da solo. La qualità del retrieval fissa il tetto: se il passaggio giusto non viene recuperato, il modello non può usarlo.
Perché è importante
- Aggiornamento. I pesi del modello si fermano alla data di cutoff dell’addestramento. La RAG gli permette di rispondere in base al listino o alla policy di oggi.
- Costo. Inviare 10 chunk costa molti meno token di input che inviare l’intero corpus a ogni domanda.
- Tracciabilità. Le risposte possono citare i passaggi da cui provengono, il che aiuta il grounding e rende più facili da individuare le allucinazioni.
- L’ordine conta. I modelli sfruttano meglio l’inizio e la fine di un prompt lungo rispetto alla parte centrale. Metti per primi i passaggi migliori. Vedi lost in the middle.
Su BroadNet Inference
BroadNet copre la fase di generazione. La sua documentazione non elenca un endpoint per gli embedding, quindi il retriever ha bisogno di un modello di embedding separato o di una ricerca per parole chiave. DeepSeek V4.1 Flash e GLM 5.3 accettano fino a 1.048.576 token di contesto, il che rende praticabile un retrieval generoso (o nessun retrieval, per corpus piccoli). L’articolo contesto lungo o RAG confronta i due approcci su costo e recall, e la ricerca RAG in arabo tratta normalizzazione e retrieval ibrido per l’arabo.
Errori comuni
- Dare la colpa al modello quando il problema è il retriever. Registra nei log quali chunk sono stati recuperati per ogni risposta.
- Chunk che tagliano a metà tabelle o frasi.
- Nessuna istruzione per rispondere “non trovato”. Senza, il modello riempie i vuoti con la memoria.