BroadRouter

Ta marbutah (taa marbuta, ة)

Diperbarui

Ta marbutah (ة, U+0629) adalah huruf Arab yang hanya muncul di akhir kata, sering menandai kata benda dan kata sifat feminin. Bentuknya mirip ha (ه, U+0647) dengan dua titik, sehingga keduanya sering tertukar dalam teks ketikan, dan banyak normalizer pencarian memetakan ة ke ه.

Disebut juga: ta marbutah, ta marbuthah, ta' marbuthah, taa marbuta, ta marbuta, teh marbuta, taa marbouta

مدرسة dan مدرسه adalah kata yang sama, “sekolah”, bagi sebagian besar pembaca Arab. Bagi perbandingan string, keduanya berbeda. Penyebabnya adalah ta marbutah.

Cara kerjanya

Unicode Standard mencantumkan TEH MARBUTA (U+0629) sebagai karakter akhir, yaitu karakter yang hanya muncul di akhir kata atau morfem. Huruf ini menyambung ke kanan, jadi hanya tersambung ke huruf sebelumnya. Bentuknya adalah bentuk HEH (U+0647) di akhir kata, ditambah dua titik:

Karakter Code point Nama Unicode Bentuk akhir setelah ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Karena keduanya hanya berbeda dua titik di akhir kata, kedua ejaan muncul dalam teks ketikan. Bouamor dkk. (2018) mencatat bahwa bahasa Arab Standar Modern punya ortografi baku, tetapi dialek-dialeknya tidak, dan orang sering mengeja kata sesuai pengucapannya. Jadi dalam teks informal dan bahasa Arab dialek, wajar menemukan ه di akhir kata yang di kamus ditulis ة.

Normalizer pencarian menyatukan keduanya. Fungsi normalize_teh_marbuta_ar di CAMeL Tools hanyalah s.replace('ة', 'ه'), dan ArabicNormalizer di Lucene mencantumkan “normalization of teh marbuta to heh” (terjemahan: normalisasi teh marbuta menjadi heh) sebagai salah satu aturannya.

Mengapa penting

Recall. Menyatukan ة ke ه membuat kueri مدرسه menemukan dokumen yang menulis مدرسة, dan sebaliknya. Ini salah satu aturan standar normalisasi teks Arab, bersama penyatuan alif dan hamzah.

Kata yang tergabung. Aturan ini juga meleburkan kata yang hanya berbeda pada huruf ini:

Asli Arti Setelah ة ke ه
كرة bola كره
كره kebencian كره

Untuk pencarian, sesekali salah cocok biasanya harga yang wajar. Untuk pencocokan entitas, koreksi ejaan, atau teks hukum, pertahankan perbedaannya dan bandingkan teks aslinya.

Penilaian. Dalam evaluasi speech-to-text, transkrip yang menulis ه di tempat referensi menulis ة dihitung sebagai kesalahan kata, kecuali keduanya dinormalisasi dengan cara yang sama. Putuskan sebelum menilai, dan nyatakan keputusannya.

Di BroadNet Inference

API BroadNet tidak menormalkan teks. Model chat menerima dan mengembalikan ة dan ه persis seperti yang ditulis, dan BroadNet Transcribe Arabic mengembalikan teks Arab biasa. Terapkan aturan ة di indeks atau kode penilaian Anda sendiri, di kedua sisi.

Jika Anda meminta model chat mengoreksi ejaan, periksa editnya di kode: artikel koreksi ejaan Arab menunjukkan pengecekan berbasis diff. Untuk indeks, artikel pencarian RAG Arab dan panduan normalisasi menunjukkan posisi aturan ini. Anda bisa mencoba aturannya pada string Anda sendiri dengan normalizer teks Arab.

Pertanyaan umum

Kenapa tidak memetakan ه ke ة saja?

Karena ه adalah huruf umum yang berdiri sendiri, termasuk sebagai akhiran kata ganti yang berarti "miliknya (laki-laki)". Memetakan ة ke ه bersifat satu arah dan aman diterapkan di mana saja; arah sebaliknya akan menciptakan huruf yang tidak ada.

Apakah aturan ة ke ه berlaku di tengah kata?

Ta marbutah hanya muncul di akhir kata atau morfem, jadi dalam praktiknya aturan ini hanya mengubah huruf akhir. CAMeL Tools mengganti setiap ة tanpa memeriksa posisinya.

Apakah koreksi ejaan sebaiknya mengembalikan ة?

Bisa, tetapi apakah ه di akhir kata seharusnya ة bergantung pada katanya dan kadang pada dialeknya. Biarkan model mengoreksinya, lalu periksa perubahannya di kode dan saat review.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity