Pekerjaan klasifikasi bahasa Arab ada di mana-mana: apakah ulasan ini positif, apakah pesan WhatsApp ini keluhan, tim mana yang harus menerima tiket ini, apakah ini mendesak. Sebelum ada LLM, setiap pekerjaan membutuhkan dataset berlabel dan model hasil fine-tuning. Sekarang Anda bisa mulai dengan prompt. Itu lebih cepat, tetapi juga mudah merilis classifier yang terlihat bagus pada sepuluh contoh lalu gagal pada dialek Teluk. Artikel ini membahas prompt, format output, pengujian, dan biaya.
Pekerjaan klasifikasi apa yang cocok untuk LLM?
| Pekerjaan | Contoh label | Catatan |
|---|---|---|
| Sentimen | positif, negatif, netral, campuran | Netral dan campuran adalah kelas tempat manusia dan model paling sering berbeda pendapat |
| Intent | keluhan, pertanyaan, pesanan, pembatalan, lainnya | Pertahankan “lainnya”; memaksakan label menimbulkan kesalahan |
| Routing tiket | penagihan, pengiriman, teknis, akun | Dasarkan label pada tim Anda yang sebenarnya |
| Urgensi | mendesak, normal | Definisikan mendesak dalam satu baris: “pelanggan tidak bisa memakai layanan sekarang” |
| Dialek atau aksara | MSA, Teluk, Mesir, Levant, Arabizi | Berguna untuk merutekan ke template balasan yang tepat; lihat Arabizi |
| Tag topik | Beberapa label dari daftar tetap | Minta daftar, batasi panjangnya |
LLM cocok ketika contoh berlabel Anda sedikit, labelnya sering berubah, atau Anda menginginkan alasan untuk setiap label. Classifier hasil fine-tuning cocok ketika labelnya stabil, volumenya sangat besar, dan Anda sudah punya ribuan contoh berlabel.
Apa kata riset tentang LLM untuk bahasa Arab?
Dua hasil layak diketahui sebelum Anda mulai:
- Model bahasa Arab hasil fine-tuning bisa menang. GPTAraEval menguji ChatGPT pada 44 tugas bahasa Arab dan menemukannya “consistently surpassed by smaller models that have undergone finetuning on Arabic” (Terjemahan BroadRouter: secara konsisten dikalahkan oleh model yang lebih kecil yang telah di-fine-tune dengan bahasa Arab). Penulisnya juga menemukan hasil yang lebih lemah pada dialek dibanding bahasa Arab Standar Modern (Khondaker dkk.).
- Prompt yang sadar dialek membantu. Sebuah studi RANLP 2025 terhadap DeepSeek-R1, Qwen2.5, dan LLaMA-3 untuk sentimen dalam MSA, dialek Saudi, dan Darija Maroko melaporkan bahwa prompting yang sadar dialek meningkatkan akurasi, terutama untuk kelas netral dan negatif (Alharbi dkk.).
Ini model yang lebih lama atau berbeda dari yang akan Anda pakai, jadi anggap hasilnya sebagai arah, bukan angka. Pelajarannya tetap berlaku: ukur pada pesan Anda sendiri, per dialek.
Bagaimana merancang label?
Mulailah di sini, bukan dengan modelnya.
- Jaga daftarnya tetap pendek. Empat sampai delapan label per pertanyaan. Ajukan pertanyaan yang berbeda (sentimen, intent, urgensi) sebagai field terpisah, bukan satu daftar raksasa.
- Definisikan setiap label dalam satu baris, beserta apa yang bukan termasuk label itu: “keluhan: pelanggan melaporkan masalah dengan sesuatu yang dibelinya. Bukan pertanyaan tentang harga.”
- Tambahkan label pelarian seperti
otheratauunclear. - Putuskan kasus campuran sejak awal. “Pengirimannya terlambat tetapi kurirnya ramah” adalah campuran, bukan netral. Tuliskan aturan itu.
Definisi label boleh dalam bahasa Inggris meskipun teksnya berbahasa Arab. Pertahankan nilai label dalam bahasa Inggris agar kode Anda tidak bergantung pada pencocokan string bahasa Arab.
Prompt seperti apa yang berhasil untuk klasifikasi bahasa Arab?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Alasan setiap bagian ada di sana:
- Baris dialek memberi tahu model apa yang harus diharapkan, dan itulah prompting sadar dialek yang dinilai membantu oleh studi RANLP.
- Contoh dalam lebih dari satu dialek. Contoh di atas mencampur dialek Teluk dan Mesir. Pakai pesan nyata (yang sudah dianonimkan) dari trafik Anda sendiri.
- Bukti berupa kutipan memungkinkan peninjau mengecek label dalam sedetik, dan membuat tebakan lebih mudah dikenali.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3, dan DeepSeek V4.1 Flash melakukan penalaran sebelum menjawab, dan penalaran dihitung dalammax_tokens. Dokumentasi BroadNet menyarankan mengaturreasoning_effortkelowatau menyisakan 1.000 token atau lebih. Mengapa jawaban bisa kembali kosong jika tidak.- Tolak label yang tidak dikenal di kode. Jangan pernah percaya model akan tetap di dalam daftar.
Untuk kontrak output yang lebih ketat, lihat JSON mode vs json_schema. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B.
Model BroadNet mana yang sebaiknya dipakai?
| Model | Alasan memilihnya | Input / output per 1 juta token |
|---|---|---|
| Qwen3.8 27B | Diuji BroadNet dalam bahasa Arab: memahami dialek Teluk dan Mesir; output terstruktur tercantum | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Harga per token terendah di BroadNet; bisa dipakai dengan kredit awal $5; output terstruktur tidak tercantum, jadi validasi output dengan ketat | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Juga tersedia di paket flat seharga $60 per bulan per sesi, satu permintaan dalam satu waktu | $0.175 / $0.52 |
| GLM 5.3 | Output terstruktur tercantum; harga tertinggi di antara keempatnya | $0.78 / $3.46 |
Jalankan test set Anda di Qwen3.8 27B dan Gemma 4 VL 26B lebih dulu. Jika skor Gemma cukup dekat, model itulah pilihan yang lebih murah untuk label pendek. Pilih berdasarkan angka Anda, bukan berdasarkan tabel ini.
Bagaimana menguji classifier?
- Beri label manual pada 200 pesan nyata bersama penutur asli, memakai definisi label di atas. Sertakan setiap dialek yang Anda terima, minimal 30 per dialek.
- Jalankan model pada ke-200 pesan.
- Hitung macro F1, yaitu rata-rata skor F1 per label, agar label yang jarang dihitung setara dengan label yang umum. Akurasi saja menyembunyikan model yang tidak pernah menjawab
cancel. - Baca confusion matrix-nya. Jika
questiondancomplaintsering tertukar, definisinya tumpang tindih: perbaiki definisinya sebelum mengganti model. - Pisahkan hasil per dialek. Model bisa kuat di MSA dan lemah di dialek Teluk.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Jalankan ulang set yang sama setiap kali Anda mengubah prompt atau model. Cara mengevaluasi LLM sebelum beralih membahas cara mempertahankan test set yang tetap.
Bagaimana melakukan klasifikasi dalam volume besar?
Klasifikasi berat di sisi input: system prompt yang panjang, pesan yang pendek, dan jawaban satu kata. Tiga tuas yang penting.
Kelompokkan pesan per permintaan. Kunci API bayar sesuai pemakaian di BroadNet mengizinkan 30 permintaan per menit dan 4 yang berjalan bersamaan. Satu pesan per permintaan membatasi Anda pada 30 pesan per menit per kunci, atau 1.440 kali itu per hari. Kirim 20 pesan pendek sebagai daftar bernomor dan minta array JSON berisi 20 hasil: rate limit yang sama kemudian mencakup pesan dua puluh kali lebih banyak. Cek bahwa panjang array cocok dan setiap item membawa nomornya.
Jaga prefiks prompt tetap identik. System prompt dan contoh sama di setiap panggilan. Taruh keduanya di depan dan pesannya di akhir, agar bisa dibaca dari cache dengan harga input cache, misalnya $0.0435 alih-alih $0.175 per 1 juta token di Qwen3.8 27B. Cara menyusun prompt agar prefiksnya ter-cache.
Jaga output tetap pendek. Token output lebih mahal daripada input. Satu label dan satu kutipan pendek sudah cukup; hapus field bukti setelah Anda memercayai modelnya.
Bahasa Arab biasanya memakan lebih banyak token per kata daripada bahasa Inggris, jadi hitung contoh pesan Anda di penghitung token bahasa Arab, lalu hitung biaya sebulan di kalkulator biaya API LLM.
Kesalahan apa yang perlu dihindari?
- Menguji dengan terjemahan bahasa Inggris. Teks terjemahan bukan cara pelanggan Anda menulis.
- Satu skor untuk semua dialek. Laporkan setiap dialek secara terpisah.
- Tidak ada label pelarian. Memaksa setiap pesan masuk ke label sungguhan menggelembungkan kesalahan.
- Jawaban teks bebas. “Sepertinya negatif” tidak bisa di-parse. Minta JSON dan validasi.
- Mengabaikan sarkasme. “ما شاء الله، ثالث مرة يتأخر الطلب” (Masya Allah, sudah ketiga kalinya pesanan terlambat) terbaca positif kata per kata padahal itu keluhan. Masukkan contoh seperti itu ke prompt.
Kapan LLM adalah classifier yang salah?
Ketika labelnya stabil, Anda sudah punya ribuan contoh berlabel, dan volumenya jutaan, model encoder bahasa Arab hasil fine-tuning biasanya lebih murah per pesan dan, menurut GPTAraEval, bisa lebih akurat. Untuk pekerjaan offline besar yang bisa menunggu, penyedia dengan batch API juga mungkin lebih murah: OpenAI menawarkan diskon 50% untuk batch job yang selesai dalam 24 jam. BroadNet tidak punya batch API. Pola yang umum adalah memakai LLM untuk melabeli beberapa ribu pesan pertama, mengeceknya secara manual, lalu melatih model kecil dari hasilnya.
Posisi BroadNet Inference
BroadNet memberi Anda model yang sudah diuji dalam bahasa Arab (Qwen3.8 27B), model murah yang bisa dipakai dengan kredit awal (Gemma 4 VL 26B), dan opsi tarif flat (DeepSeek V4.1 Flash) di balik satu kunci API yang kompatibel dengan OpenAI, tanpa menyimpan konten pesan setelah permintaan selesai. Itu cocok untuk tim support yang ingin mengklasifikasikan pesan berbahasa Arab tanpa membangun pipeline pelatihan. Itu tidak cocok untuk pekerjaan offline sangat besar ketika diskon batch atau model hasil fine-tuning akan lebih murah. Mulailah dengan prompt di atas, uji 200 pesan, dan artikel dialek Teluk, Mesir, dan Levant untuk menyusun test set.
