---
title: "Diacritici arabi (tashkeel) con un LLM: guida pratica"
description: "Ripristina i diacritici arabi (tashkeel) con un’API LLM: un prompt che non tocca le lettere, un controllo che scarta le modifiche, DER e WER, e quando usare CATT."
url: https://broadrouter.com/it/blog/arabic-diacritization-llm/
lang: it
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/blog/arabic-diacritization-llm/) (aggiornato il 2026-11-16).

# Aggiungere i diacritici all’arabo con un LLM: prompt, controlli, DER

A cura del team di BroadNet Inference · 8 min di lettura · Pubblicato 2026-11-15 · Aggiornato 2026-11-16

Chiedi al modello il tashkeel completo e nient’altro, poi togli i diacritici dalla risposta e confrontala con il tuo input. Se cambia anche una lettera, scarta e riprova. Valuta un campione controllato a mano con il diacritic error rate (DER) e il word error rate (WER), con e senza desinenze di caso. I risultati pubblicati mettono GPT-4 vicino ai migliori diacritizzatori dedicati, ma dietro.

## Punti chiave

-   L’unica regola che rende sicura la diacritizzazione con un LLM: la risposta, senza diacritici, deve essere identica all’input. Se non lo è, il modello ha cambiato una lettera e la risposta va scartata.
-   Sul benchmark CATT (742 frasi di notizie), il modello encoder-decoder CATT ha ottenuto 8,624% di DER con desinenze di caso, contro 9,515% di GPT-4 e 16,482% di Mishkal (paper CATT, 2024).
-   Le desinenze di caso sono la parte difficile. Ogni tabella pubblicata riporta DER e WER sia con sia senza, e il divario è ampio. Riporta entrambi anche nei tuoi test.
-   Il testo con diacritici costa più token. Sulle 2.500 righe del test set di Fadel, il tashkeel completo ha richiesto da 2,07 a 3,21 volte i token del testo nudo, sui quattro tokenizer di modello che abbiamo provato.
-   Per grandi volumi e tipi di testo fissi, un diacritizzatore open source dedicato come CATT (Apache 2.0) costa meno e per costruzione non tocca le lettere. Un LLM è più facile per iniziare e gestisce input insoliti.

**In questa pagina**

1.  Quando servono i diacritici?
2.  Quanto sono bravi gli LLM nella diacritizzazione?
3.  Quali test set esistono?
4.  Quale prompt lascia intatte le lettere?
5.  Come si valuta la diacritizzazione: DER e WER?
6.  Quando un diacritizzatore dedicato batte un LLM?
7.  Quanto costa diacritizzare con un LLM?
8.  Dove si colloca BroadNet Inference

L’arabo si scrive di norma senza vocali brevi. Chi legge le ricava dal contesto; il software spesso no. Ripristinarle, la cosiddetta diacritizzazione o tashkeel, trasforma كتب in كَتَبَ (ha scritto), كُتُبٌ (libri) o كُتِبَ (è stato scritto), a seconda della frase. Questo articolo mostra come farlo con un LLM tramite un’API compatibile con OpenAI, come impedire al modello di modificare il tuo testo di nascosto e come misurare il risultato rispetto a un diacritizzatore dedicato.

## Quando servono i diacritici?

-   **Sintesi vocale (text-to-speech).** Una voce ha bisogno delle vocali per pronunciare una parola. Il paper CATT indica sintesi vocale e traduzione automatica tra le applicazioni che i diacritici migliorano. BroadNet Inference non ha un endpoint di sintesi vocale, quindi in una pipeline TTS il testo con diacritici va a un servizio TTS separato.
-   **Studenti e materiale per bambini.** Chi sta ancora imparando a leggere si affida ai segni.
-   **Nomi e termini ambigui.** Nomi propri, parole rare e termini tecnici, dove una vocale sbagliata cambia il significato.
-   **Testi religiosi e classici.** Qui i segni fanno parte del testo, e uno strumento automatico dovrebbe solo colmare le lacune, sotto revisione umana.

Per la ricerca o il retrieval, di solito i diacritici non li vuoi. Lì si tolgono, come in [normalizzazione del testo arabo per la ricerca](https://broadrouter.com/it/blog/arabic-text-normalization-search/). Il [normalizzatore di testo arabo](https://broadrouter.com/tools/arabic-text-normalizer/) gratuito li toglie direttamente nel browser. La diacritizzazione è l’operazione opposta, e molto più difficile: togliere i segni è una ricerca in tabella, aggiungerli richiede grammatica e contesto.

## Quanto sono bravi gli LLM nella diacritizzazione?

Due numeri pubblicati, da leggere con attenzione:

| Sistema | Benchmark CATT, DER con desinenze di caso | DER senza | WER con desinenze di caso | WER senza |
| --- | --- | --- | --- | --- |
| CATT encoder-decoder | 8,624% | 6,989% | 34,191% | 28,477% |
| CATT encoder-only | 8,762% | 7,088% | 35,508% | 29,714% |
| GPT-4 (GPT-4-turbo secondo il testo del paper) | 9,515% | 8,113% | 38,311% | 33,505% |
| Command R+ | 13,169% | 11,329% | 48,518% | 44,158% |
| Shakkala | 13,494% | 10,386% | 50,387% | 40,643% |
| Mishkal | 16,482% | 10,796% | 60,844% | 40,215% |

Fonte: tabella 4 del [paper CATT](https://arxiv.org/html/2407.03236v3) (2024). Più basso è meglio. Il benchmark è composto da 742 frasi di notizie raccolte nel 2023, diacritizzate da due esperti madrelingua e verificate da un terzo.

Sul secondo test set del paper, WikiNews (400 frasi), GPT-4 ha fatto molto meglio di tutti gli altri: 0,551% di DER. Gli autori segnalano quella riga e ipotizzano che il modello abbia visto WikiNews durante l’addestramento. È l’avvertenza generale per i benchmark sugli LLM: il testo di test pubblico può essere nei dati di addestramento. Gli autori di CATT sollevano lo stesso dubbio su Tashkeela, i cui libri contengono molte citazioni dal Corano e dagli hadith.

Un altro paper del 2024, di Skiredj e Berrada, riporta per GPT-4 circa il 20% di DER e il 30% di WER sul benchmark di Fadel et al., senza i dettagli che servirebbero per confrontarlo con la tabella qui sopra.

Quindi i modelli della classe di GPT-4 possono avvicinarsi a un diacritizzatore dedicato, ma possono anche restare indietro. Entrambi i paper precedono i modelli open che puoi chiamare oggi. Misura sul tuo testo.

## Quali test set esistono?

| Dataset | Cos’è |
| --- | --- |
| [Tashkeela](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/) | 75.629.921 parole completamente vocalizzate da 97 libri; 98,85% arabo classico dalla biblioteca Shamela, 1,15% arabo standard moderno |
| [Benchmark di Fadel et al.](https://github.com/AliOsm/arabic-text-diacritization) | Circa 2,3 milioni di parole estratte da Tashkeela; 50.000 righe di addestramento, 2.500 di validazione e 2.500 di test |
| Benchmark CATT | 742 frasi di notizie diacritizzate a mano, rilasciate con i modelli CATT |
| WikiNews | 400 frasi di notizie in MSA diacritizzate a mano |

Tashkeela e il set di Fadel sono soprattutto arabo classico. Se il tuo testo è arabo moderno commerciale o giornalistico, i set CATT e WikiNews sono più vicini, e un campione del tuo testo lo è ancora di più.

## Quale prompt lascia intatte le lettere?

Il compito del modello è aggiungere segni e non toccare nient’altro. Gli LLM amano rendersi utili: correggono الى in إلى, cambiano una ى finale in ي o aggiungono una hamza mancante. Ognuna di queste modifiche può essere arabo corretto, ma è una correzione ortografica, non una diacritizzazione. Cambia il tuo testo senza dirtelo.

Per questo il prompt enuncia la regola e il codice la fa rispettare: togli i diacritici dalla risposta e confrontala con l’input, anch’esso senza diacritici. Se differisce anche solo una lettera, uno spazio o un segno di punteggiatura, la risposta viene scartata.

```python
import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))
```

Abbiamo eseguito il codice contro un server mock locale, non contro l’API reale. La sua risposta preimpostata per la prima frase «correggeva» الى in إلى in entrambi i tentativi, mentre la risposta per la seconda era pulita. L’output è stato:

```text
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
```

Note sul codice:

-   **Prima la normalizzazione Unicode NFC.** Una hamza può arrivare come un unico carattere precomposto (أ) o come lettera più segno combinante. NFC rende uguali i due lati prima del confronto. [L’articolo sulla normalizzazione](https://broadrouter.com/it/blog/arabic-text-normalization-search/) tratta questa trappola nel dettaglio.
-   **`max_tokens=4000`.** Secondo la documentazione di BroadNet, DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in `max_tokens`. Un limite troppo basso restituisce una risposta vuota, che il controllo scarta. Lascia margine, oppure imposta `reasoning_effort` su low; vedi [risposte vuote dai modelli di ragionamento](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/) e il [calcolatore del budget di token di ragionamento](https://broadrouter.com/tools/reasoning-token-budget/).
-   **Il controllo non verifica «mantieni i diacritici già presenti».** Se il tuo input è in parte già diacritizzato, confronta anche quei segni.
-   **L’ortografia è una decisione a parte.** Se vuoi che الى venga corretto, esegui prima un passaggio di correzione e poi diacritizza il testo corretto. Mescolare le due cose le rende entrambe impossibili da verificare.
-   **Dividi i testi lunghi.** Manda una frase o un paragrafo per richiesta. CATT stesso limita l’input a 1.024 caratteri e spezza le frasi lunghe sulla punteggiatura; la stessa abitudine mantiene brevi le risposte dell’LLM ed economici i nuovi tentativi.

Per consigli generali su come scrivere prompt in arabo, incluso quando dire a un modello di non aggiungere diacritici, vedi [prompt engineering in arabo](https://broadrouter.com/it/blog/arabic-prompt-engineering/).

## Come si valuta la diacritizzazione: DER e WER?

Il **diacritic error rate (DER)** è la quota di lettere i cui diacritici differiscono dal riferimento. Il **word error rate (WER)**, qui, è la quota di parole con almeno un diacritico sbagliato. Non è il WER del riconoscimento vocale di [il nostro articolo sull’ASR](https://broadrouter.com/it/blog/arabic-asr-wer-explained/): conta le parole con un segno sbagliato, non le parole inserite o cancellate.

Due impostazioni cambiano molto i numeri:

-   **Con o senza desinenze di caso.** L’ultima lettera di una parola porta il suo caso grammaticale (i‘rab), che dipende dalla sintassi. I paper riportano entrambe le impostazioni, perché le desinenze di caso causano molti degli errori.
-   **Contare o no le lettere senza diacritico.** Alcuni script contano una lettera nuda (come l’alef in الطالب) come previsione corretta di «nessun diacritico», altri la saltano. Lo script di valutazione di Fadel ha un flag apposta.

Gli script pubblicati fanno scelte diverse su questi punti, quindi confronta solo numeri prodotti dallo stesso script. Questo è abbastanza breve da leggerlo tutto:

```python
import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
```

La previsione giocattolo ha due desinenze di caso sbagliate e una vocale interna sbagliata, su 32 lettere e 7 parole. Stampa DER 9.38 e WER 42.86 con desinenze di caso, e DER 4.0 e WER 14.29 senza. Nota come il WER ingigantisce pochi errori: un solo segno sbagliato rovina un’intera parola.

Lo script si rifiuta di valutare una parola le cui lettere sono cambiate. È voluto. Un diacritizzatore che modifica le lettere ha fallito il compito, e il suo DER non avrebbe senso.

Come seconda verifica abbiamo eseguito Mishkal 0.4.1, un diacritizzatore a regole, su una frase di 16 parole che avevamo diacritizzato a mano. Tutti e quattro i suoi errori erano desinenze di caso, come مُحَمَّدُ al posto di مُحَمَّدٌ. Ha ottenuto DER 5,88 con desinenze di caso e 0,0 senza. Una frase non dimostra nulla su Mishkal; mostra perché vanno riportate entrambe le impostazioni.

Per costruire un test set, prendi da 100 a 200 frasi del tuo testo, falle diacritizzare a un madrelingua, togli i segni ed esegui ogni candidato. Tieni la versione umana come riferimento (gold).

## Quando un diacritizzatore dedicato batte un LLM?

| Scegli | Quando |
| --- | --- |
| Un modello dedicato (CATT, libtashkeel, Mishkal) | Grandi volumi, tipo di testo fisso, latenza stringente, uso offline o on-device, oppure serve un output che per costruzione non cambi nessuna lettera |
| Un LLM tramite API | Volumi bassi o irregolari, input misto o disordinato, un team senza MLOps, oppure una pipeline che chiama già un LLM per altri passaggi |

I modelli dedicati prevedono un segno per lettera, quindi non possono riscrivere il tuo testo. [CATT](https://github.com/abjadai/catt) è Apache 2.0 e si installa con `pip install catt-tashkeel`; il suo README consiglia il modello encoder-only per la velocità e l’encoder-decoder per l’accuratezza. [libtashkeel](https://github.com/mush42/libtashkeel) è MIT ed è addestrato soprattutto su MSA. [Mishkal](https://pypi.org/project/mishkal/) è basato su regole e GPL, e questo conta se lo distribuisci dentro un prodotto.

Un LLM è il modo più rapido per partire e se la cava con input che un modello addestrato non ha mai visto: dialetto, arabo e inglese mescolati, punteggiatura strana. Richiede il controllo dello scheletro visto sopra su ogni risposta, e si paga a token.

## Quanto costa diacritizzare con un LLM?

I diacritici sono caratteri in più, e i tokenizer li spezzano in token in più. Abbiamo contato il test set di Fadel da 2.500 righe (125.098 parole) con il tokenizer di ciascun modello, testo nudo contro testo completamente diacritizzato:

| Tokenizer | Testo nudo | Con diacritici | Rapporto |
| --- | --- | --- | --- |
| Qwen3.8 27B | 196.987 | 407.144 | 2,07× |
| DeepSeek V4.1 Flash | 222.555 | 540.454 | 2,43× |
| Gemma 4 VL 26B | 208.769 | 508.758 | 2,44× |
| GLM 5.3 | 239.753 | 770.361 | 3,21× |

Paghi token di input per il testo nudo e token di output per la risposta diacritizzata, più l’eventuale ragionamento. L’output è la parte costosa: $2.17 per milione di token su [Qwen3.8 27B](https://broadrouter.com/it/models/qwen3.8-27b/), $0.52 su [DeepSeek V4.1 Flash](https://broadrouter.com/it/models/deepseek-v4.1-flash/), $3.46 su [GLM 5.3](https://broadrouter.com/it/models/glm-5.3/) e $0.22 su [Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/), secondo la pagina prezzi di BroadNet. I nuovi tentativi dopo un controllo fallito aggiungono altro. Incolla il tuo testo nel [contatore di token per l’arabo](https://broadrouter.com/tools/arabic-token-counter/) per verificare il rapporto sui tuoi dati, e vedi [token per parola in arabo e in inglese](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/) per capire perché l’arabo costa più token già in partenza.

Per un lavoro una tantum su un grande archivio, i piani DeepSeek V4.1 Flash sostituiscono il contatore con un prezzo fisso per sessione ($15 a settimana o $1 all’ora); ogni sessione esegue una richiesta alla volta, quindi pianifica l’elaborazione come in [elaborazione in batch senza una batch API](https://broadrouter.com/it/blog/llm-batch-processing-without-batch-api/).

## Dove si colloca BroadNet Inference

BroadRouter è il sito di BroadNet. BroadNet Inference serve i quattro modelli di chat qui sopra tramite un unico endpoint compatibile con OpenAI, quindi il codice funziona con l’[SDK Python di OpenAI](https://broadrouter.com/it/guides/openai-python-sdk/) una volta impostati base URL e chiave. Gemma 4 VL 26B funziona con il credito iniziale di $5; DeepSeek, GLM e Qwen richiedono una ricarica. BroadNet non ha un endpoint di diacritizzazione, non pubblica un proprio benchmark di diacritizzazione e non offre sintesi vocale. Quale dei suoi modelli diacritizzi meglio il tuo testo non è stato misurato: valutali su un tuo campione prima di scegliere. Vedi il [riferimento API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-arabic-diacritization-llm&utm_content=body) per i dettagli delle richieste.

Strumenti gratuiti sul tema (in inglese)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Strumenti gratuiti (in inglese)](https://broadrouter.com/tools/)

## Termini in questo articolo

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Word error rate (WER)](https://broadrouter.com/it/glossary/word-error-rate/)

Il word error rate (WER, tasso di errore sulle parole) è la misura standard di accuratezza del riconoscimento vocale: il numero di sostituzioni, cancellazioni e inserimenti di parole necessari per trasformare una trascrizione nel riferimento corretto, diviso per il numero di parole del riferimento. Più è basso, meglio è.

[Text-to-speech (TTS, sintesi vocale)](https://broadrouter.com/it/glossary/text-to-speech/)

Il text-to-speech (TTS), o sintesi vocale, converte il testo scritto in audio parlato. Un’API TTS riceve un testo, una voce e un formato di output come MP3 o WAV, e restituisce il parlato generato. È l’opposto dello speech-to-text, che trasforma l’audio in testo.

[Hamza (lettera araba)](https://broadrouter.com/it/glossary/hamza/)

La hamza (ء) è la lettera araba che indica il colpo di glottide. Si scrive da sola o su un supporto: alef (أ إ), waw (ؤ) o yeh (ئ), e آ unisce alef e madda. Dato che il testo digitato la usa in modo incoerente, motori di ricerca e valutazione del parlato spesso riducono le forme con alef a ا.

[Normalizzazione Unicode (Unicode normalization)](https://broadrouter.com/it/glossary/unicode-normalization/)

La normalizzazione Unicode converte il testo in una forma standard, così che stringhe che appaiono uguali usino gli stessi code point. Le quattro forme sono NFD, NFC, NFKD e NFKC; le forme K riducono anche i caratteri di compatibilità, come le forme di presentazione arabe e le legature, a lettere ordinarie.

[Prompt engineering (ingegneria dei prompt)](https://broadrouter.com/it/glossary/prompt-engineering/)

Il prompt engineering è il processo con cui si scrivono, strutturano e testano le istruzioni date a un modello linguistico, perché produca in modo costante un output che rispetta i tuoi requisiti. Comprende messaggi di ruolo, istruzioni chiare, esempi, formattazione e la misura dei risultati su casi di test.

[Tokenizer](https://broadrouter.com/it/glossary/tokenizer/)

Un tokenizer è il componente che converte il testo nella sequenza di ID interi di token che un modello linguistico legge, e riconverte in testo gli ID generati. Ogni modello ha il proprio tokenizer, quindi lo stesso testo può produrre un numero di token diverso su modelli diversi.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

## Domande frequenti

### Come si aggiungono i diacritici a un testo arabo in Python?

Due strade. Installi un diacritizzatore dedicato come catt-tashkeel (Apache 2.0) o mishkal (GPL) e lo chiami in locale, oppure mandi il testo a un LLM con un prompt che chiede solo il tashkeel. Con un LLM, controlla sempre che la risposta senza diacritici sia uguale al tuo input.

### ChatGPT o GPT-4 sono bravi a mettere i diacritici in arabo?

Vicini ai migliori sistemi dedicati in alcuni test, dietro in altri. Il paper CATT ha misurato GPT-4 a 9,515% di DER con desinenze di caso sul suo benchmark di notizie, contro 8,624% del proprio modello. Un altro paper del 2024 riporta per GPT-4 circa il 20% di DER sul benchmark di Fadel. Fai la prova sul tuo testo.

### Che differenza c’è tra DER e WER nella diacritizzazione?

Il DER è la quota di lettere con i diacritici sbagliati. Il WER è la quota di parole con almeno un diacritico sbagliato, quindi è sempre più alto. Entrambi si riportano con le desinenze di caso (l’ultima lettera di ogni parola) e senza.

### Perché il mio LLM cambia le lettere quando aggiunge il tashkeel?

Perché corregge anche l’ortografia: الى diventa إلى, una ى diventa ي, compare una hamza mancante. Può essere giusto, ma è una correzione, non una diacritizzazione, e rompe la valutazione lettera per lettera. Chiedigli di non farlo, controlla ogni risposta e, se vuoi la correzione, falla in un passaggio separato.

### BroadNet può leggere ad alta voce il testo con diacritici?

No. BroadNet Inference non ha un endpoint di sintesi vocale (text-to-speech). Offre modelli di chat e speech-to-text. Se la diacritizzazione è il primo stadio di una pipeline TTS, manda il risultato a un servizio TTS separato.

## Continua a leggere

-   [Normalizzare il testo arabo per ricerca e RAG: cosa cambiare, cosa no](https://broadrouter.com/it/blog/arabic-text-normalization-search/)
-   [Prompt engineering in arabo: registro, RTL, cifre e testo misto](https://broadrouter.com/it/blog/arabic-prompt-engineering/)
-   [Token per parola in arabo e in inglese: perché l’arabo costa di più](https://broadrouter.com/it/blog/tokens-per-word-arabic-english/)
-   [Estrarre entità nominate dall’arabo con un LLM: JSON, date e controlli](https://broadrouter.com/it/blog/arabic-named-entity-extraction-llm/)
-   [Scegliere un’API LLM per l’arabo: cosa testare](https://broadrouter.com/it/blog/choosing-an-llm-for-arabic/)
-   [Elaborazione batch con LLM senza Batch API: un runner riprendibile](https://broadrouter.com/it/blog/llm-batch-processing-without-batch-api/)
-   [Correzione grammaticale e ortografica dell’arabo con un LLM: guida](https://broadrouter.com/it/blog/arabic-grammar-spelling-correction-llm/)
-   [Verbali di riunioni in arabo dalle registrazioni: una pipeline API](https://broadrouter.com/it/blog/arabic-meeting-minutes-from-recordings/)
-   [API OCR per l’arabo a confronto: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/it/blog/arabic-ocr-api-comparison/)
-   [Guida: Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/)
-   [Guida: Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-arabic-diacritization-llm&utm_content=page-cta) ·

**Fonti**

-   [Alasmary, Zaafarani e Ghannam, CATT: Character-based Arabic Tashkeel Transformer (arXiv 2407.03236v3), tabelle 4 e 5, dimensione del dataset, limite di input di 1.024 caratteri (consultato il 2026-11-15)](https://arxiv.org/html/2407.03236v3)
-   [abjadai/catt su GitHub: licenza Apache 2.0, pacchetto pip catt-tashkeel, modelli encoder-only ed encoder-decoder (consultato il 2026-11-15)](https://github.com/abjadai/catt)
-   [Fadel et al., Arabic Text Diacritization Using Deep Neural Networks (arXiv 1905.01965): 55.000 righe, circa 2,3 milioni di parole da Tashkeela (consultato il 2026-11-15)](https://arxiv.org/abs/1905.01965)
-   [AliOsm/arabic-text-diacritization su GitHub: suddivisione 50.000 / 2.500 / 2.500 righe, licenza MIT, diacritization\_stat.py (consultato il 2026-11-15)](https://github.com/AliOsm/arabic-text-diacritization)
-   [Zerrouki e Balla, Tashkeela: Novel corpus of Arabic vocalized texts, Data in Brief 2017: 75.629.921 parole, 97 libri, 98,85% arabo classico (consultato il 2026-11-15)](https://pmc.ncbi.nlm.nih.gov/articles/PMC5310197/)
-   [Skiredj e Berrada, Arabic Text Diacritization in the Age of Transfer Learning (arXiv 2401.04848): riporta per GPT-4 circa il 20% di DER e il 30% di WER sul benchmark di Fadel (consultato il 2026-11-15)](https://arxiv.org/html/2401.04848v1)
-   [Mishkal su PyPI: versione 0.4.1, GPL, uso di TashkeelClass (consultato il 2026-11-15)](https://pypi.org/project/mishkal/)
-   [mush42/libtashkeel su GitHub: libreria per il ripristino dei diacritici, licenza MIT, modelli addestrati soprattutto su MSA (consultato il 2026-11-15)](https://github.com/mush42/libtashkeel)
-   [Riferimento API di BroadNet Inference: ID dei modelli, il ragionamento conta in max\_tokens, reasoning\_effort, endpoint (consultato il 2026-11-15) (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-arabic-diacritization-llm&utm_content=sources)
