Nahihirapan ang speech-to-text sa mga Arabic dialect dahil iba sila sa Modern Standard Arabic (MSA) sa tunog, salita at spelling, at hinahaluan pa ng mga nagsasalita ng English o French. Para malaman kung gaano kahusay ang isang provider, bumuo ng maliit na test set kada dialect mula sa totoong audio mo at i-score nang hiwalay ang bawat dialect.
“Arabic” lahat ang isang caller sa Riyadh, isang voice note mula sa Cairo at isang support call mula sa Casablanca, pero puwedeng mahusay ang isang model sa una at palpak sa pangatlo.
Ipinapaliwanag ng post na ito kung bakit mahirap ang bawat pangunahing grupo ng dialect para sa speech recognition, at kung paano bumuo ng test na magpapakita kung gaano kahusay ang isang provider sa iyong mga dialect. Para sa mas malawak na checklist sa pagbili (presyo, limit, privacy), tingnan ang buyer’s guide sa Arabic speech-to-text.
Bakit mahirap ang mga Arabic dialect para sa speech recognition?
Apat na problema ang nagpapatong-patong:
- Ibang tunog. Iba-iba ang bigkas ng iisang letra depende sa rehiyon, kaya kailangang i-map ng acoustic model ang ilang tunog sa iisang spelling.
- Ibang salita. Magkakaiba ang mga pang-araw-araw na salita kada dialect. Puwedeng “itama” ng model na halos MSA ang training ang isang dialect na salita papunta sa formal na katumbas nito, at error iyon kung verbatim ang reference mo.
- Walang standard na spelling. Impormal ang pagsulat ng mga dialect, kaya kahit dalawang taong transcriber ay hindi nagkakasundo. Hindi rin pantay ang training data: ayon sa isang pag-aaral noong 2024 tungkol sa dialectal coverage, ang mga kasalukuyang ASR system ay “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (salin: pangunahing sakop ang modern standard Arabic (MSA) at ilang dialect na maraming resource) (arXiv 2411.05872).
- Code-switching. Naghahalo ng English o French ang mga nagsasalita sa gitna ng pangungusap. Ang Casablanca dataset, na sumasaklaw sa walong dialect, ay may annotation ng code-switching kasama ng dialect at gender.
Ito mismo ang dahilan kung bakit sinusuri ng papel na Open Universal Arabic ASR Leaderboard (Interspeech 2025) ang mga open-source model sa ilang multi-dialect test set: tinatago ng iisang Arabic score ang pagkakaiba-iba.
Paano nagkakamali ang speech recognition sa bawat Arabic dialect?
| Grupo ng dialect | Saan | Karaniwang problema ng ASR |
|---|---|---|
| Gulf (Khaleeji) | Saudi Arabia, UAE, Kuwait, Qatar, Bahrain, Oman | May halong English na pangalan ng produkto, numero at brand term; panrehiyong bigkas ng qaf at kaf |
| Egyptian | Egypt | Binibigkas ang jeem bilang matigas na g; kadalasang glottal stop ang qaf; napakakaraniwan sa media, kaya mas madalas itong makita ng mga model |
| Levantine | Syria, Lebanon, Jordan, Palestine | Glottal stop ang qaf sa lungsod; may halong French o English, lalo na sa Lebanon |
| Maghrebi (Darija) | Morocco, Algeria, Tunisia, Libya | Pinakamalayo sa MSA; nawawala ang maiikling patinig; mabigat na French code-switching; mga hiram na salitang Amazigh |
| Iraqi | Iraq | Natatanging bokabularyo at bigkas; mas kaunting pampublikong training audio |
Mga tendensiya ito, hindi mga patakaran. Magkaiba ang pananalita sa lungsod at probinsya sa loob ng bawat grupo, at mas madalas mag-code-switch ang mga nakababata. Ang punto: may sariling paraan ng pagkakamali ang bawat grupo, kaya i-score nang hiwalay ang bawat grupo.
Paano bumuo ng Arabic dialect test set?
1. Kumuha ng totoong audio kada dialect
Kumuha ng 30 hanggang 50 clip kada dialect mula sa channel na gagamitin mo sa production: tawag sa telepono, WhatsApp voice note, recording ng meeting. Iba ang kilos ng phone audio na 8 kHz kaysa sa studio audio. Lagyan ng label ang bawat clip ayon sa dialect, at i-tag ang mga clip na may English o French.
2. Magkasundo muna sa spelling convention
Bago magsulat ng kahit anong reference, magpasya:
- Verbatim dialect (isulat ang sinabi, sa dialect na spelling), o
- Normalised (i-map sa iisang consistent na anyo).
Isulat ang napili kasama ang mga halimbawa. Kung verbatim ang mga reference at mga salitang parang MSA ang output ng model, mukhang napakasama ng WER kahit tama ang kahulugan. Walang maling pagpipilian. Kailangan lang itong tumugma sa kailangan ng downstream system mo.
3. Sumulat ng reference para sa 10 clip kada dialect
Ipa-transcribe ang mga ito sa mga native speaker ng dialect na iyon. Para sa mga code-switched na clip, magpasya kung mananatili sa Latin script ang mga English na salita, at ilapat ito sa lahat.
4. I-normalise ang dalawang panig, saka mag-score
Tanggalin ang mga diacritic, pag-isahin ang mga anyo ng alef (إ أ آ papuntang ا) at ang final yaa (ى papuntang ي), alisin ang bantas, at gawing Western ang mga Eastern Arabic na digit. Saka kalkulahin:
| Metric | Bakit |
|---|---|
| WER kada dialect | Ang standard na sukatan; mahigpit sa mga clitic at prefix |
| CER kada dialect | Mas mapagpatawad sa pagkakaiba ng spelling |
| Entity accuracy | Bahagdan ng mga numero, petsa at pangalan na eksaktong na-transcribe |
| WER ng code-switch na grupo | Ipinapakita kung nakakaligtas ang mga English o French na salita |
Kinakalkula ng jiwer package ang WER at CER; may normalisation function na puwede mong gamitin ulit sa Arabic WER explained, pati isang halimbawa kung gaano nito binabago ang score.
5. Basahin ang mga transcript
Ang mga numero ang nagpapasya kung gagana ang isang call-centre o banking workflow. Magbasa ng 20 transcript kada dialect at mano-manong suriin ang bawat numero, petsa at pangalan.
Ano ang sinasabi ng mga nailathalang Arabic WER na numero?
Direksyon ang ibinibigay ng mga pampublikong benchmark, hindi pangako. Naglalathala ang BroadNet ng tatlong WER figure para sa BroadNet Transcribe Arabic sa model catalogue nito: 3.8 sa FLEURS-ar (malinis na binasang pananalita), 21.1 sa MASC-ar (halo-halong pananalita mula sa totoong mundo) at 23.4 sa sarili nitong dialect set. Anim na beses ang itinaas para sa iisang model mula binasang pananalita papuntang dialect speech, kaya kailangan mong mag-test sa sarili mong mga dialect.
Kapag nagkukumpara ng mga provider, ikumpara sila sa iisang test set. Kapaki-pakinabang ang isang leaderboard gaya ng Open Universal Arabic ASR Leaderboard dahil pare-pareho ang paraan ng pag-score sa bawat model. Hindi maikukumpara ang sariling numero ng isang vendor sa sarili nitong set sa numero ng ibang vendor.
Aling LLM ang dapat magbasa ng mga dialect transcript?
Kadalasang ipinapasa ang mga transcript sa isang LLM: para i-summarise ang tawag, i-route ang ticket o sagutin ang tanong. Kailangan ding makabasa ng dialect ang model na iyon. Ipinapaliwanag ng aming gabay sa pagpili ng LLM para sa Arabic kung paano ito i-test, at ang Qwen3.8 27B ang model na sinubok ng BroadNet sa mga Gulf at Egyptian dialect.
Saan pumapasok ang BroadNet Inference
Ang BroadNet Transcribe Arabic ay ginawa para sa Arabic kasama ang mga dialect, nagkakahalaga ng $0.0042 kada minuto ($0.25 kada oras), at ayon sa BroadNet ay ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) ito sa Open Universal Arabic ASR Leaderboard, at #1 sa mga model na pinapayagan ng lisensya na i-serve sa pamamagitan ng API. Para sa mga numero, petsa at pangalan sa maingay na audio, nag-aalok ang BroadNet ng fine-tuned na bersyon kapag hiniling. Sakop ng $5 na panimulang credit ang mga 1,190 minuto, sapat para sa buong test sa itaas; ginagawang buwanang bill ng speech-to-text cost calculator ang volume mo sa production. Gumawa ng key para magsimula.
Hindi naglalathala ang BroadNet ng hiwalay na WER figure para sa bawat grupo ng dialect. Iyan mismo ang dahilan kung bakit dapat mong patakbuhin ang test na ito: iisang numero lang ang figure nito sa dialect set, at isa o dalawang dialect lang ang sinasalita ng mga customer mo, hindi lahat.
