Arapça sınıflandırma işleri her yerde: bu yorum olumlu mu, bu WhatsApp mesajı bir şikâyet mi, bu talep hangi ekibe gitmeli, acil mi? LLM’lerden önce her iş etiketli bir veri seti ve ince ayarlı bir model gerektiriyordu. Artık bir istemle başlayabilirsiniz. Bu daha hızlı, ama on örnekte iyi görünüp Körfez lehçesinde çöken bir sınıflandırıcıyı yayına almak da kolay. Bu yazı istemi, çıktı biçimini, testi ve maliyeti ele alıyor.
Hangi sınıflandırma işleri LLM’e uygun?
| İş | Örnek etiketler | Notlar |
|---|---|---|
| Duygu | olumlu, olumsuz, nötr, karışık | Nötr ve karışık, insanlarla modellerin en çok ayrıştığı sınıflar |
| Niyet | şikâyet, soru, sipariş, iptal, diğer | “Diğer”i tutun; etiket dayatmak hata üretir |
| Talep yönlendirme | faturalama, teslimat, teknik, hesap | Etiketleri gerçek ekiplerinize göre belirleyin |
| Aciliyet | acil, normal | Acili tek satırda tanımlayın: “müşteri hizmeti şu anda kullanamıyor” |
| Lehçe ya da yazı | MSA, Körfez, Mısır, Levant, Arabizi | Doğru yanıt şablonuna yönlendirmek için yararlı; bkz. Arabizi |
| Konu etiketleri | Sabit bir listeden birkaç etiket | Bir liste isteyin, uzunluğunu sınırlayın |
Az etiketli örneğiniz varsa, etiketler sık değişiyorsa ya da her etiketle bir gerekçe istiyorsanız LLM iyi bir seçimdir. Etiketler sabitse, hacim çok büyükse ve elinizde zaten binlerce etiketli örnek varsa ince ayarlı bir sınıflandırıcı iyi bir seçimdir.
Araştırmalar Arapçada LLM’ler hakkında ne söylüyor?
Başlamadan önce bilmeye değer iki sonuç var:
- İnce ayarlı Arapça modeller kazanabilir. GPTAraEval, ChatGPT’yi 44 Arapça görevde test etti ve onun “consistently surpassed by smaller models that have undergone finetuning on Arabic” (BroadRouter çevirisi: Arapça üzerinde ince ayar yapılmış daha küçük modeller tarafından tutarlı biçimde geride bırakıldığını) buldu. Yazarlar ayrıca lehçelerde Modern Standart Arapçaya göre daha zayıf sonuçlar buldu (Khondaker vd.).
- Lehçeye duyarlı istemler yardımcı olur. DeepSeek-R1, Qwen2.5 ve LLaMA-3’ü MSA, Suudi lehçesi ve Fas Dariyası’nda duygu analizi üzerinde inceleyen bir RANLP 2025 çalışması, lehçeye duyarlı istemlerin doğruluğu özellikle nötr ve olumsuz sınıflarda artırdığını bildiriyor (Alharbi vd.).
Bunlar sizin kullanacağınız modellerden daha eski ya da farklı modeller; bu yüzden onları sayı değil, yön olarak alın. Ders geçerliliğini koruyor: kendi mesajlarınızda, lehçe başına ölçün.
Etiketler nasıl tasarlanır?
Modelle değil, buradan başlayın.
- Listeyi kısa tutun. Soru başına dört ila sekiz etiket. Ayrı soruları (duygu, niyet, aciliyet) tek dev bir liste olarak değil, ayrı alanlar olarak sorun.
- Her etiketi tek satırda tanımlayın, ne olmadığıyla birlikte: “şikâyet: müşteri satın aldığı bir şeyle ilgili bir sorun bildiriyor. Fiyatla ilgili bir soru değil.”
otherya dauncleargibi bir kaçış etiketi ekleyin.- Karışık durumlara baştan karar verin. “Teslimat gecikti ama kurye kibardı” nötr değil, karışıktır. Bu kuralı yazıya dökün.
Metin Arapça olsa bile etiket tanımları İngilizce olabilir. Kodunuz Arapça dize eşleştirmesine bağlı kalmasın diye etiket değerlerini İngilizce tutun.
Arapça sınıflandırma için hangi istem işe yarar?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Her parçanın orada olma nedeni:
- Lehçe satırı modele ne beklemesi gerektiğini söyler; RANLP çalışmasının yararlı bulduğu lehçeye duyarlı istem tam olarak budur.
- Birden fazla lehçede örnekler. Yukarıdaki örnekler Körfez ve Mısır lehçesini karıştırıyor. Kendi trafiğinizden gerçek (anonimleştirilmiş) mesajlar kullanın.
- Alıntı olarak kanıt, bir inceleyicinin etiketi bir saniyede kontrol etmesini sağlar ve tahminleri fark etmeyi kolaylaştırır.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 ve DeepSeek V4.1 Flash yanıt vermeden önce akıl yürütür ve akıl yürütmemax_tokenssınırına sayılır. BroadNet’in belgelerireasoning_effortdeğerinilowyapmayı ya da 1.000 veya daha fazla token bırakmayı öneriyor. Aksi hâlde yanıtların neden boş geldiği.- Bilinmeyen etiketleri kodda reddedin. Modelin listede kalacağına asla güvenmeyin.
Daha katı bir çıktı sözleşmesi için JSON modu ve json_schema yazısına bakın. BroadNet, GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı listeliyor.
Hangi BroadNet modelini kullanmalısınız?
| Model | Neden seçilir | 1M token başına girdi / çıktı |
|---|---|---|
| Qwen3.8 27B | BroadNet tarafından Arapçada test edildi: Körfez ve Mısır lehçelerini anlıyor; yapılandırılmış çıktı listelenmiş | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | BroadNet’te token başına en düşük fiyat; $5 başlangıç kredisiyle çalışıyor; yapılandırılmış çıktı listelenmemiş, bu yüzden çıktıyı sıkı doğrulayın | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Oturum başına ayda $60 karşılığında sabit fiyatlı planda da var, her seferinde bir istek | $0.175 / $0.52 |
| GLM 5.3 | Yapılandırılmış çıktı listelenmiş; dördünün en yüksek fiyatı | $0.78 / $3.46 |
Test setinizi önce Qwen3.8 27B ve Gemma 4 VL 26B’de çalıştırın. Gemma’nın puanları yeterince yakınsa, kısa etiketler için daha ucuz seçim odur. Bu tabloya göre değil, kendi sayılarınıza göre seçin.
Sınıflandırıcı nasıl test edilir?
- Yukarıdaki etiket tanımlarını kullanarak, anadili Arapça olan biriyle 200 gerçek mesajı elle etiketleyin. Aldığınız her lehçeyi, her birinden en az 30 tane olacak şekilde ekleyin.
- Modeli 200 mesajın hepsinde çalıştırın.
- Nadir etiketler de yaygın olanlar kadar sayılsın diye etiket başına F1 puanlarının ortalaması olan makro F1’i hesaplayın. Tek başına doğruluk, hiç
canceldemeyen bir modeli gizler. - Karışıklık matrisini okuyun.
questionvecomplaintsık sık yer değiştiriyorsa tanımlar örtüşüyordur: modeli değiştirmeden önce tanımları düzeltin. - Sonuçları lehçeye göre ayırın. Bir model MSA’da güçlü, Körfez lehçesinde zayıf olabilir.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
İstemi ya da modeli her değiştirdiğinizde aynı seti yeniden çalıştırın. Geçişten önce bir LLM nasıl değerlendirilir yazısı sabit bir test seti tutmayı ele alıyor.
Yüksek hacimde nasıl sınıflandırılır?
Sınıflandırma girdi ağırlıklıdır: uzun bir sistem istemi, kısa bir mesaj ve tek kelimelik bir yanıt. Üç kaldıraç önemlidir.
Mesajları isteklerde gruplayın. Bir BroadNet kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir. İstek başına bir mesaj sizi anahtar başına dakikada 30 mesajla, günde ise bunun 1.440 katıyla sınırlar. 20 kısa mesajı numaralı bir liste olarak gönderin ve 20 sonuçluk bir JSON dizisi isteyin: aynı hız sınırı böylece yirmi kat daha fazla mesajı kapsar. Dizi uzunluğunun eşleştiğini ve her öğenin numarasını taşıdığını kontrol edin.
İstem önekini birebir aynı tutun. Sistem istemi ve örnekler her çağrıda aynıdır. Onları başa, mesajı sona koyun; böylece önbellekten önbellekli girdi fiyatıyla okunabilirler; örneğin Qwen3.8 27B’de 1M başına $0.175 yerine $0.0435. Önek önbelleğe alınsın diye istemler nasıl yapılandırılır.
Çıktıyı kısa tutun. Çıktı token’ları girdiden pahalıdır. Bir etiket ve kısa bir alıntı yeterlidir; modele güvendiğinizde kanıt alanını kaldırın.
Arapça genellikle İngilizceden kelime başına daha fazla token tutar; bu yüzden mesajlarınızdan bir örneği Arapça token sayacında sayın, sonra ayı LLM API maliyet hesaplayıcısında fiyatlandırın.
Hangi hatalardan kaçınmalısınız?
- İngilizce çeviriler üzerinde test etmek. Çevrilmiş metin müşterilerinizin yazdığı gibi değildir.
- Tüm lehçeler için tek puan. Her lehçeyi ayrı raporlayın.
- Kaçış etiketi olmaması. Her mesajı gerçek bir etikete zorlamak hataları şişirir.
- Serbest metin yanıtlar. “Olumsuz gibi görünüyor” ayrıştırılamaz. JSON isteyin ve doğrulayın.
- İğnelemeyi görmezden gelmek. “ما شاء الله، ثالث مرة يتأخر الطلب” (Maşallah, sipariş üçüncü kez gecikiyor) kelime kelime olumlu okunur ama bir şikâyettir. İsteme buna benzer bir örnek koyun.
LLM ne zaman yanlış sınıflandırıcıdır?
Etiketler sabitse, elinizde zaten binlerce etiketli örnek varsa ve hacim milyonlarla ölçülüyorsa, ince ayarlı bir Arapça kodlayıcı (encoder) model genellikle mesaj başına daha ucuzdur ve GPTAraEval’e göre daha doğru olabilir. Bekleyebilecek büyük çevrimdışı işler için batch API’si olan bir sağlayıcı da daha ucuza gelebilir: OpenAI, 24 saat içinde tamamlanan batch işleri için %50 indirim duyuruyor. BroadNet’in batch API’si yok. Yaygın bir kalıp, ilk birkaç bin mesajı bir LLM ile etiketlemek, bunları elle kontrol etmek ve sonuç üzerinde küçük bir model eğitmektir.
BroadNet Inference’ın yeri
BroadNet size Arapçada test edilmiş bir model (Qwen3.8 27B), başlangıç kredisiyle çalışan ucuz bir model (Gemma 4 VL 26B) ve sabit fiyatlı bir seçeneği (DeepSeek V4.1 Flash) tek bir OpenAI uyumlu anahtarın arkasında sunuyor ve istekten sonra mesaj içeriği saklamıyor. Bu, eğitim hattı kurmadan Arapça mesajları sınıflandırmak isteyen destek ekiplerine uyar. Batch indiriminin ya da ince ayarlı bir modelin daha ucuza geleceği çok büyük çevrimdışı işlere uymaz. Yukarıdaki istemle, 200 mesajlık testle ve test setini kurmak için Körfez, Mısır ve Levant lehçeleri yazısıyla başlayın.
