تُكتب العربية عادةً من دون حركات قصيرة. يستنتجها القارئ من السياق، أما البرامج فكثيرًا ما تعجز عن ذلك. واستعادتها، أي التشكيل، تحوّل كتب إلى كَتَبَ أو كُتُبٌ أو كُتِبَ بحسب الجملة. يشرح هذا المقال كيف تفعل ذلك بنموذج LLM عبر API متوافقة مع OpenAI، وكيف تمنع النموذج من تغيير نصك خلسة، وكيف تقيس النتيجة مقارنة بأداة تشكيل مخصصة.
متى تحتاج إلى التشكيل؟
- تحويل النص إلى كلام. يحتاج الصوت الاصطناعي إلى الحركات لينطق الكلمة. وتذكر ورقة CATT تحويل النص إلى كلام والترجمة الآلية بين التطبيقات التي يحسّنها التشكيل. وليست لدى BroadNet Inference نقطة نهاية لتحويل النص إلى كلام، لذا يذهب النص المشكول في خط TTS إلى خدمة TTS منفصلة.
- المتعلمون ومواد الأطفال. القرّاء الذين ما زالوا يتعلمون يعتمدون على الحركات.
- الأسماء والمصطلحات الملتبسة. أسماء الأعلام والكلمات النادرة والمصطلحات التقنية التي تغيّر فيها الحركة الخاطئة المعنى.
- النصوص الدينية والتراثية. هنا الحركات جزء من النص، ويجب ألا تملأ الأداة الآلية إلا الفجوات، وتحت مراجعة بشرية.
أما في البحث والاسترجاع فلا تريد التشكيل عادةً، بل تحذفه، كما في توحيد النص العربي للبحث. وتؤدي أداة توحيد النص العربي المجانية هذا الحذف في المتصفح. أما التشكيل فهو العملية المعاكسة، وأصعب بكثير: حذف الحركات مجرد بحث في جدول، بينما إضافتها تحتاج إلى النحو والسياق.
ما مدى جودة نماذج LLM في التشكيل؟
رقمان منشوران، يُقرآن بحذر:
| النظام | معيار CATT، DER مع أواخر الكلمات | DER من دونها | WER مع أواخر الكلمات | WER من دونها |
|---|---|---|---|---|
| CATT encoder-decoder | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT encoder-only | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (GPT-4-turbo بحسب نص الورقة) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| مشكال (Mishkal) | 16.482% | 10.796% | 60.844% | 40.215% |
المصدر: الجدول 4 من ورقة CATT (2024). الأقل أفضل. والمعيار 742 جملة إخبارية جُمعت من الويب في 2023، شكّلها خبيران من الناطقين الأصليين وراجعها ثالث.
وعلى مجموعة الاختبار الثانية في الورقة، WikiNews (400 جملة)، سجّل GPT-4 نتيجة أفضل بكثير من الجميع: 0.551% DER. ويميّز المؤلفون هذا الصف ويرجّحون أن النموذج ربما رأى WikiNews أثناء تدريبه. وهذا هو التحذير العام في معايير نماذج LLM: نصوص الاختبار العامة قد تكون ضمن بيانات التدريب. ويثير مؤلفو CATT القلق نفسه بشأن Tashkeela، إذ تحوي كتبها اقتباسات كثيرة من القرآن والحديث.
وتذكر ورقة منفصلة من 2024 لـSkiredj وBerrada أن GPT-4 سجّل نحو 20% DER و30% WER على معيار Fadel وآخرين، من دون التفاصيل التي نحتاجها لمقارنتها بالجدول أعلاه.
إذن قد تقترب النماذج من فئة GPT-4 من أداة تشكيل مخصصة، وقد تتأخر عنها أيضًا. والورقتان سابقتان للنماذج المفتوحة التي يمكنك استدعاؤها اليوم. قِس على نصك أنت.
ما مجموعات الاختبار المتاحة؟
| مجموعة البيانات | ما هي |
|---|---|
| Tashkeela | 75,629,921 كلمة مشكولة بالكامل من 97 كتابًا؛ 98.85% عربية تراثية من المكتبة الشاملة، و1.15% عربية فصحى حديثة |
| معيار Fadel وآخرين | نحو 2.3 مليون كلمة مستخرجة من Tashkeela؛ 50,000 سطر للتدريب، و2,500 للتحقق، و2,500 للاختبار |
| معيار CATT | 742 جملة إخبارية مشكولة يدويًا، نُشرت مع نماذج CATT |
| WikiNews | 400 جملة إخبارية بالفصحى الحديثة، مشكولة يدويًا |
يغلب على Tashkeela ومجموعة Fadel النص التراثي. فإن كان نصك عربية حديثة في الأعمال أو الأخبار، فمجموعتا CATT وWikiNews أقرب إليه، وعينة من نصك أنت هي الأقرب.
أي أمر يحفظ الحروف كما هي؟
مهمة النموذج إضافة الحركات وعدم لمس أي شيء آخر. لكن نماذج LLM تحب المساعدة، فتصحح «الى» إلى «إلى»، وتغيّر ى الأخيرة إلى ي، أو تضيف همزة ناقصة. قد يكون كل ذلك عربية صحيحة، لكنه تصحيح إملائي لا تشكيل. إنه يغيّر نصك من دون أن يخبرك.
لذلك ينص الأمر على القاعدة، وتفرضها الشيفرة: احذف الحركات من الرد وقارنه بالمدخل بعد حذف حركاته. فإن اختلف حرف أو مسافة أو علامة ترقيم واحدة، يُرفض الرد.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
شغّلنا هذا على خادم محاكاة محلي، لا على الواجهة الحية. ردّه المعدّ مسبقًا على الجملة الأولى «صحّح» «الى» إلى «إلى» في المحاولتين، وكان ردّه على الثانية سليمًا. وكان الناتج:
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
ملاحظات على الشيفرة:
- توحيد Unicode بصيغة NFC أولًا. قد تصل الهمزة حرفًا واحدًا مركّبًا مسبقًا (أ) أو حرفًا مع علامة مركّبة. وتجعل NFC الطرفين متطابقين قبل المقارنة. ويشرح مقال التوحيد هذا الفخ بالتفصيل.
max_tokens=4000. تقول وثائق BroadNet إن DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B تستدل قبل الإجابة، وإن الاستدلال يُحتسب ضمنmax_tokens. والحد الصغير جدًا يعيد ردًا فارغًا، فيرفضه التحقق. اترك مساحة كافية، أو اضبطreasoning_effortعلى low؛ انظر الردود الفارغة من نماذج الاستدلال وأداة ميزانية رموز الاستدلال.- التحقق لا يختبر شرط «احتفظ بالحركات الموجودة». فإن كان مدخلك مشكولًا جزئيًا، فقارن تلك الحركات أيضًا.
- الإملاء قرار منفصل. إن أردت تصحيح «الى»، فشغّل خطوة التصحيح أولًا، ثم شكّل النص المصحَّح. والخلط بين الخطوتين يجعل التحقق من أيٍّ منهما مستحيلًا.
- قسّم النص الطويل. أرسل جملة أو فقرة في كل طلب. فـCATT نفسها تحدّ المدخل بـ1,024 حرفًا وتقسم الجمل الطويلة عند علامات الترقيم؛ والعادة نفسها تبقي ردود نموذج LLM قصيرة وإعادة المحاولة رخيصة.
وللنصائح العامة في كتابة الأوامر العربية، بما فيها متى تطلب من النموذج ألا يضيف التشكيل، انظر هندسة الأوامر للعربية.
كيف تقيس جودة التشكيل: DER وWER؟
معدل خطأ التشكيل (DER) هو نسبة الحروف التي يختلف تشكيلها عن المرجع. ومعدل خطأ الكلمات (WER) هنا هو نسبة الكلمات التي فيها حركة خاطئة واحدة على الأقل. وهو غير WER الخاص بالتعرّف على الكلام في مقالنا عن ASR؛ فهو يعدّ الكلمات ذات الحركة الخاطئة، لا الكلمات المُدرجة أو المحذوفة.
إعدادان يغيّران الأرقام كثيرًا:
- مع أواخر الكلمات أو من دونها. يحمل الحرف الأخير من الكلمة حالتها الإعرابية، وهي تتبع التركيب النحوي. وتعرض الأوراق الإعدادين معًا، لأن أواخر الكلمات مصدر كثير من الأخطاء.
- احتساب الحروف التي بلا حركة. بعض السكربتات تعدّ الحرف المجرد (مثل الألف في الطالب) تنبؤًا صحيحًا بـ«لا حركة»، وبعضها يتخطاه. ولسكربت القياس الخاص بـFadel خيار لهذا.
تختلف السكربتات المنشورة في هذه الاختيارات، فلا تقارن إلا أرقامًا أنتجها السكربت نفسه. وهذا السكربت قصير بما يكفي لقراءته:
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
في التنبؤ التجريبي خطآن في أواخر الكلمات وحركة داخلية خاطئة واحدة، عبر 32 حرفًا و7 كلمات. فيطبع DER 9.38 وWER 42.86 مع أواخر الكلمات، وDER 4.0 وWER 14.29 من دونها. ولاحظ كيف يضخّم WER الأخطاء القليلة: حركة خاطئة واحدة تُفسد الكلمة كلها.
ويرفض السكربت قياس كلمة تغيّرت حروفها. وهذا مقصود. فأداة التشكيل التي تعدّل الحروف فشلت في المهمة، ولن يكون لمعدل DER الخاص بها معنى.
وكتحقق ثانٍ، شغّلنا مشكال 0.4.1، وهو أداة تشكيل قائمة على القواعد، على جملة واحدة من 16 كلمة شكّلناها يدويًا. كانت أخطاؤه الأربعة كلها في أواخر الكلمات، مثل مُحَمَّدُ بدلًا من مُحَمَّدٌ. فسجّل DER 5.88 مع أواخر الكلمات و0.0 من دونها. جملة واحدة لا تثبت شيئًا عن مشكال؛ لكنها تبيّن لماذا تعرض الإعدادين معًا.
ولبناء مجموعة اختبار، خذ من 100 إلى 200 جملة من نصك أنت، واطلب من ناطق أصلي تشكيلها، ثم احذف الحركات، وشغّل كل مرشّح. واحتفظ بالنسخة البشرية مرجعًا.
متى تتفوق أداة تشكيل مخصصة على نموذج LLM؟
| اختر | حين |
|---|---|
| نموذجًا مخصصًا (CATT أو libtashkeel أو مشكال) | حجم كبير، أو نوع نص ثابت، أو زمن استجابة صارم، أو استخدام دون اتصال أو على الجهاز، أو حاجة إلى مخرجات تطابق الحروف حرفًا بحرف بحكم التصميم |
| نموذج LLM عبر API | حجم منخفض أو متقلب، أو مدخلات مختلطة أو فوضوية، أو فريق بلا عمليات تعلم آلي، أو خط معالجة يستدعي نموذج LLM أصلًا لخطوات أخرى |
تتنبأ النماذج المخصصة بحركة لكل حرف، فلا تستطيع إعادة كتابة نصك. CATT مرخّصة بـApache 2.0 وتُثبَّت بالأمر pip install catt-tashkeel، ويوصي ملف README الخاص بها بنموذج encoder-only للسرعة وencoder-decoder للدقة. وlibtashkeel مرخّصة بـMIT ومدرّبة أساسًا على الفصحى الحديثة. أما مشكال فقائم على القواعد ومرخّص بـGPL، وهذا مهم إن كنت ستضمّنه في منتج.
ونموذج LLM أسرع في البداية، ويتعامل مع مدخلات لم يرها نموذج مدرَّب قط: اللهجات، والعربية المختلطة بالإنجليزية، وعلامات الترقيم الغريبة. لكنه يحتاج إلى تحقق الهيكل أعلاه على كل رد، ويكلّف لكل رمز.
كم يكلّف التشكيل بنموذج LLM؟
الحركات حروف إضافية، ومُقسِّمات الرموز تقطّعها إلى رموز (توكنز) إضافية. عددنا رموز مجموعة اختبار Fadel ذات 2,500 سطر (125,098 كلمة) بمُقسِّم كل نموذج، للنص المجرد مقابل النص المشكول بالكامل:
| مُقسِّم الرموز | النص المجرد | المشكول | النسبة |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
تدفع رموز إدخال للنص المجرد ورموز إخراج للرد المشكول، إضافة إلى أي استدلال. والإخراج هو الجانب المكلف: $2.17 لكل مليون رمز على Qwen3.8 27B، و$0.52 على DeepSeek V4.1 Flash، و$3.46 على GLM 5.3، و$0.22 على Gemma 4 VL 26B، بحسب صفحة أسعار BroadNet. وإعادة المحاولة بعد فشل التحقق تضيف المزيد. الصق نصك في عدّاد الرموز العربية لتتحقق من النسبة على بياناتك، وانظر عدد الرموز لكل كلمة في العربية والإنجليزية لتعرف لماذا تكلّف العربية رموزًا أكثر من الأساس.
ولمهمة لمرة واحدة على أرشيف كبير، تستبدل خطط DeepSeek V4.1 Flash العدّاد بسعر ثابت لكل جلسة ($15 أسبوعيًا أو $1 للساعة)؛ وكل جلسة تشغّل طلبًا واحدًا في كل مرة، فخطّط للتشغيل كما في المعالجة بالجملة من دون Batch API.
أين تناسب BroadNet Inference
BroadRouter هو موقع BroadNet نفسها. تقدم BroadNet Inference نماذج المحادثة الأربعة أعلاه عبر نقطة نهاية واحدة متوافقة مع OpenAI، فتعمل الشيفرة مع OpenAI Python SDK بعد ضبط عنوان base URL والمفتاح. يعمل Gemma 4 VL 26B على الرصيد الابتدائي $5؛ أما DeepSeek وGLM وQwen فتحتاج إلى شحن الرصيد. ليست لدى BroadNet نقطة نهاية للتشكيل، ولا تنشر معيار تشكيل خاصًا بها، ولا تقدم تحويل النص إلى كلام. وأيّ نماذجها يشكّل نصك أفضل أمر لم يُقَس: قيّمها على عينتك قبل أن تختار. وانظر المرجع التقني لتفاصيل الطلبات.
