BroadRouter

Tā’ marbūṭa (taa marbuta, ة)

Aggiornato

La taa marbuta (ة, U+0629) è una lettera araba che compare solo alla fine di una parola e spesso segna sostantivi e aggettivi femminili. Somiglia a una heh (ه, U+0647) con due punti, quindi nel testo digitato le due si confondono, e molti normalizzatori per la ricerca mappano ة su ه.

Detto anche: taa marbuta, tā’ marbūṭa, ta marbuta, teh marbuta, taa marbouta

مدرسة e مدرسه sono la stessa parola, «scuola», per la maggior parte dei lettori arabi. Per un confronto tra stringhe sono diverse. Il motivo è la taa marbuta.

Come funziona

Lo standard Unicode classifica TEH MARBUTA (U+0629) come carattere finale, cioè che compare solo alla fine di una parola o di un morfema. Si lega solo a destra, quindi si unisce soltanto alla lettera che la precede. La sua forma è quella della HEH (U+0647) in fine di parola, più due punti:

Carattere Code point Nome Unicode Forma finale dopo ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Poiché le due differiscono solo per due punti in fine di parola, nel testo digitato compaiono entrambe le grafie. Bouamor et al. (2018) osservano che l’arabo standard moderno ha un’ortografia standard mentre i dialetti no, e che spesso si scrivono le parole come si pronunciano. Quindi nei testi informali e in arabo dialettale aspettati una ه finale dove un dizionario scriverebbe ة.

I normalizzatori per la ricerca fondono le due lettere. normalize_teh_marbuta_ar di CAMeL Tools è un semplice s.replace('ة', 'ه'), e l’ArabicNormalizer di Lucene elenca tra le sue regole “normalization of teh marbuta to heh” (traduzione: normalizzazione di teh marbuta in heh).

Perché è importante

Richiamo (recall). Fondere ة in ه permette a una query per مدرسه di trovare documenti che scrivono مدرسة, e viceversa. È una delle regole standard della normalizzazione del testo arabo, insieme all’unificazione di alef e hamza.

Parole fuse. La regola fa coincidere anche parole che differiscono solo per questa lettera:

Originale Significato Dopo ة → ه
كرة palla كره
كره odio كره

Per la ricerca, qualche falso positivo occasionale è di solito un prezzo accettabile. Per il matching di entità, la correzione ortografica o i testi legali, mantieni la distinzione e confronta gli originali.

Valutazione. Nella valutazione dello speech-to-text, una trascrizione che scrive ه dove il riferimento ha ة conta come errore di parola, a meno che entrambi non siano normalizzati allo stesso modo. Decidi prima di calcolare il punteggio e dichiaralo.

Su BroadNet Inference

L’API di BroadNet non normalizza il testo. I modelli di chat ricevono e restituiscono ة e ه esattamente come sono scritte, e BroadNet Transcribe Arabic restituisce normale testo arabo. Applica la regola della ة nel tuo indice o nel tuo codice di valutazione, su entrambi i lati.

Se chiedi a un modello di chat di correggere l’ortografia, verifica le sue modifiche nel codice: l’articolo sulla correzione ortografica in arabo mostra un controllo basato su diff. Per gli indici, l’articolo sulla ricerca RAG in arabo e la guida alla normalizzazione mostrano dove si inserisce la regola. Puoi provare la regola sulle tue stringhe con il normalizzatore di testo arabo.

Domande frequenti

Perché non mappare invece ه su ة?

Perché ه è una lettera comune a sé stante, usata anche nel suffisso pronominale che significa «suo» (di lui). Mappare ة su ه va in un’unica direzione ed è sicuro ovunque; il contrario inventerebbe lettere.

La regola da ة a ه vale anche a metà parola?

La taa marbuta compare solo alla fine di una parola o di un morfema, quindi in pratica la regola cambia solo le lettere finali. CAMeL Tools sostituisce ogni ة senza controllarne la posizione.

La correzione ortografica deve ripristinare la ة?

Può farlo, ma se una ه finale debba essere ة dipende dalla parola e a volte dal dialetto. Fai correggere il modello, poi verifica la modifica nel codice e in revisione.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity