مدرسة dan مدرسه ialah perkataan yang sama, “sekolah”, bagi kebanyakan pembaca Arab. Bagi perbandingan rentetan, kedua-duanya berbeza. Ta marbutah ialah puncanya.
Cara ia berfungsi
Unicode Standard menyenaraikan TEH MARBUTA (U+0629) sebagai aksara akhiran, iaitu aksara yang hanya muncul di hujung perkataan atau morfem. Ia bersambung ke kanan sahaja, jadi ia hanya bersambung dengan huruf sebelumnya. Bentuknya ialah bentuk HEH (U+0647) di hujung perkataan, ditambah dua titik:
| Aksara | Code point | Nama Unicode | Bentuk akhir selepas ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Oleh sebab kedua-duanya hanya berbeza dengan dua titik di hujung perkataan, kedua-dua ejaan muncul dalam teks yang ditaip. Bouamor et al. (2018) menyatakan bahawa walaupun Bahasa Arab Standard Moden mempunyai ortografi piawai, dialek-dialeknya tidak, dan orang sering mengeja perkataan mengikut sebutan mereka. Jadi dalam teks tidak formal dan dialek Arab, jangkakan ه di akhir perkataan di mana kamus akan menulis ة.
Penormal carian menggabungkan kedua-duanya. normalize_teh_marbuta_ar dalam CAMeL Tools hanyalah s.replace('ة', 'ه'), dan ArabicNormalizer Lucene menyenaraikan “normalization of teh marbuta to heh” sebagai satu peraturan.
Mengapa ia penting
Dapatan semula (recall). Menggabungkan ة ke dalam ه membolehkan pertanyaan مدرسه menemui dokumen yang mengeja مدرسة, dan sebaliknya. Ia salah satu peraturan standard penormalan teks Arab, bersama penggabungan alif dan hamzah.
Perkataan bergabung. Peraturan ini juga meleburkan perkataan yang hanya berbeza pada huruf ini:
| Asal | Maksud | Selepas ة ke ه |
|---|---|---|
| كرة | bola | كره |
| كره | kebencian | كره |
Bagi carian, padanan palsu yang sesekali berlaku biasanya harga yang berpatutan. Bagi pemadanan entiti, pembetulan ejaan atau teks undang-undang, kekalkan perbezaannya dan bandingkan teks asal.
Pemarkahan. Dalam penilaian speech-to-text, transkrip yang menulis ه di mana rujukan mempunyai ة dikira sebagai ralat perkataan, kecuali kedua-duanya dinormalkan dengan cara yang sama. Putuskan sebelum memberi markah, dan nyatakannya.
Di BroadNet Inference
API BroadNet tidak menormalkan teks. Model chat menerima dan memulangkan ة dan ه tepat seperti yang ditulis, dan BroadNet Transcribe Arabic memulangkan teks Arab biasa. Gunakan peraturan ة dalam kod indeks atau pemarkahan anda sendiri, pada kedua-dua belah.
Jika anda meminta model chat membetulkan ejaan, semak suntingannya dalam kod: hantaran pembetulan ejaan Arab menunjukkan semakan berasaskan diff. Bagi indeks, hantaran carian RAG Arab dan panduan penormalan menunjukkan di mana peraturan ini sesuai. Anda boleh mencuba peraturan ini pada rentetan anda sendiri dengan penormal teks Arab.