Arabizi adalah cara banyak penutur bahasa Arab mengetik di ponsel: kata-kata Arab, keyboard Latin, dan beberapa angka untuk bunyi yang tidak ada.
Cara kerjanya
Darwish (2014) menggambarkan Arabizi, yang juga disebut Arabish atau Franco-Arab, sebagai bahasa Arab dalam bentuk transliterasi Latin yang memakai angka untuk huruf yang tidak ada dalam bahasa Inggris: “2” dan “3” mewakili bunyi hamzah dan ع. Arabizi berkembang karena browser dan ponsel lama tidak bisa menampilkan aksara Arab. Ia bertahan karena orang sudah terbiasa dan mengetik lebih cepat di keyboard Inggris.
Tiga sifat membuatnya sulit bagi perangkat lunak:
- Tidak ada ejaan baku. Shazal, Usman dan Habash (2020) mencatat bahwa Arabizi di media sosial adalah bahasa Arab dialek, yang tidak punya ortografi baku, dan pemetaannya ke aksara Arab tidak satu-ke-satu.
- Bercampur dengan bahasa Inggris atau Prancis. Pesan seperti
w aletli Tuesday(“dan dia bilang ke saya hari Selasa”) mencampur keduanya, yang disebut code-switching. - Deteksi lebih dulu. Perangkat lunak harus memutuskan kata mana yang Arabizi sebelum mengonversinya. Darwish melaporkan akurasi deteksi 98,5% dan akurasi konversi 88,7% dengan pipeline klasik; model sequence-to-sequence tahun 2020 mencapai akurasi kata 80,6% pada set uji tertutup untuk tugas gabungan.
Untuk API LLM, Arabizi juga berperilaku berbeda dari aksara Arab di tokenizer, karena ia adalah teks Latin yang dieja dengan cara yang jarang dilihat kosakata tokenizer.
Kenapa ini penting
Jika Anda menjalankan chatbot, pencarian, atau analitik di kawasan Teluk, Mesir, atau Syam, sebagian pengguna Anda akan mengetik Arabizi. Pencarian kata kunci, aturan intent, dan alat analisis sentimen yang dibuat untuk aksara Arab akan melewatkan pesan-pesan itu. Solusi umumnya adalah meminta LLM mengonversi Arabizi ke aksara Arab, dengan menyebut dialeknya, sebelum routing atau pengindeksan, dan menyimpan teks aslinya. Panduan menangani Arabizi membahas prompt dan pilihan aksara balasan.
Di BroadNet Inference
BroadNet tidak punya fitur khusus Arabizi; model chat menerimanya sebagai teks biasa. BroadNet melaporkan telah menguji Qwen3.8 27B dalam bahasa Arab, dengan dialek Teluk dan Mesir yang dipahami, yang bisa menjadi titik awal untuk menguji Arabizi. Lihat dialek Teluk dan Mesir dengan LLM.
Ucapan adalah kasus terpisah. Dokumentasi BroadNet memperingatkan bahwa tanpa language, audio bahasa Arab bisa ditransliterasi ke huruf Latin. Output itu tampak seperti Arabizi tetapi berasal dari request, bukan dari penuturnya. Kirim language=ar ke BroadNet Transcribe Arabic.