BroadRouter

LLM으로 아랍어 텍스트 분류하기: 감성 분석, 의도, 티켓 분류

BroadNet Inference 팀 · 7분 분량 · 게시 · 업데이트

LLM으로 아랍어 텍스트를 분류하려면 한 줄 정의가 붙은 짧은 라벨 목록을 만들고, 들어오는 방언마다 라벨 붙은 예시를 몇 개 주고, 라벨 하나와 근거가 되는 짧은 인용구를 JSON으로 요청하고, 추론 수준을 낮게 설정하세요. 그다음 믿기 전에 직접 라벨링한 메시지 200개로 매크로 F1을 측정하세요. 파인튜닝한 아랍어 모델이 여전히 범용 LLM보다 나을 수 있습니다.

아랍어 분류 작업은 어디에나 있습니다. 이 리뷰는 긍정인가, 이 WhatsApp 메시지는 불만인가, 이 티켓은 어느 팀으로 가야 하나, 긴급한가. LLM 이전에는 작업마다 라벨링된 데이터셋과 파인튜닝한 모델이 필요했습니다. 이제는 프롬프트로 시작할 수 있습니다. 더 빠르지만, 예시 10개에서는 좋아 보이다가 걸프 방언에서 실패하는 분류기를 배포하기도 쉽습니다. 이 글에서는 프롬프트, 출력 형식, 테스트, 비용을 다룹니다.

어떤 분류 작업이 LLM에 맞나요?

작업 라벨 예시 메모
감성 positive, negative, neutral, mixed 사람과 모델의 판단이 가장 많이 갈리는 곳은 neutral과 mixed
의도 complaint, question, order, cancel, other “other”를 남겨 두세요. 억지로 라벨을 붙이면 오류가 생김
티켓 분배 billing, delivery, technical, account 실제 팀 구성을 기준으로 라벨을 정하세요
긴급도 urgent, normal 긴급을 한 줄로 정의: “고객이 지금 서비스를 쓸 수 없음”
방언 또는 문자 MSA, 걸프, 이집트, 레반트, 아라비지 알맞은 답변 템플릿으로 보내는 데 유용. 아라비지 참고
주제 태그 고정 목록에서 여러 라벨 목록으로 요청하고 길이를 제한하세요

라벨링된 예시가 적거나, 라벨이 자주 바뀌거나, 라벨마다 이유를 원할 때 LLM이 잘 맞습니다. 라벨이 안정적이고, 물량이 엄청나고, 이미 라벨링된 예시가 수천 개 있을 때는 파인튜닝한 분류기가 잘 맞습니다.

아랍어 LLM에 대해 연구는 무엇을 말하나요?

시작하기 전에 알아 둘 결과가 두 가지 있습니다.

  • 파인튜닝한 아랍어 모델이 이길 수 있습니다. GPTAraEval은 ChatGPT를 44개 아랍어 작업으로 테스트했고, ChatGPT가 “consistently surpassed by smaller models that have undergone finetuning on Arabic”(번역: 아랍어로 파인튜닝한 더 작은 모델에 일관되게 뒤처진다)는 결과를 얻었습니다. 저자들은 또한 방언에서의 결과가 현대 표준 아랍어보다 약하다는 것을 확인했습니다(Khondaker et al.).
  • 방언을 고려한 프롬프트가 도움이 됩니다. MSA, 사우디 방언, 모로코 다리자의 감성 분석에서 DeepSeek-R1, Qwen2.5, LLaMA-3을 다룬 RANLP 2025 연구는 방언을 고려한 프롬프트가 특히 중립과 부정 클래스에서 정확도를 높였다고 보고합니다(Alharbi et al.).

여러분이 쓸 모델보다 오래되었거나 다른 모델들이므로, 숫자가 아니라 방향으로 받아들이세요. 교훈은 그대로입니다. 내 메시지로, 방언별로 측정하세요.

라벨은 어떻게 설계하나요?

모델이 아니라 여기서 시작하세요.

  1. 목록을 짧게 유지하세요. 질문 하나에 라벨 4~8개입니다. 감성, 의도, 긴급도처럼 다른 질문은 거대한 목록 하나가 아니라 별도 필드로 물으세요.
  2. 라벨마다 한 줄로 정의하고, 무엇이 아닌지도 적으세요. 예: “complaint: 고객이 구매한 것에 문제가 있다고 알림. 가격 문의는 아님.”
  3. other나 unclear 같은 예외 라벨을 추가하세요.
  4. 혼합 사례를 미리 정하세요. “배송은 늦었지만 기사님은 친절했어요”는 neutral이 아니라 mixed입니다. 이 규칙을 문서로 남기세요.

텍스트가 아랍어여도 라벨 정의는 영어로 써도 됩니다. 코드가 아랍어 문자열 일치에 의존하지 않도록 라벨 값은 영어로 두세요.

아랍어 분류에는 어떤 프롬프트가 잘 작동하나요?

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]

SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.

Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""

def classify(text):
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        temperature=0,
        reasoning_effort="low",
        max_tokens=1000,
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": text}])
    out = json.loads(r.choices[0].message.content)
    if out.get("label") not in LABELS:
        raise ValueError(f"bad label: {out}")
    return out

각 부분이 들어간 이유는 다음과 같습니다.

  • 방언 안내 줄은 모델에 무엇이 들어올지 알려 줍니다. RANLP 연구가 효과를 확인한 방언 고려 프롬프트가 바로 이것입니다.
  • 여러 방언의 예시. 위 예시는 걸프 방언과 이집트 방언이 섞여 있습니다. 내 트래픽에서 가져온 실제(익명화한) 메시지를 쓰세요.
  • 인용구 형태의 근거가 있으면 검토자가 라벨을 1초 만에 확인할 수 있고, 추측도 쉽게 드러납니다.
  • reasoning_effort="low". Qwen3.8 27B, GLM 5.3, DeepSeek V4.1 Flash는 답하기 전에 추론하며, 추론은 max_tokens에 포함됩니다. BroadNet 문서는 reasoning_effort를 low로 설정하거나 1,000 토큰 이상의 여유를 두라고 권합니다. 그렇지 않으면 답이 비어서 돌아오는 이유를 참고하세요.
  • 알 수 없는 라벨은 코드에서 거부하세요. 모델이 목록을 지킬 거라고 믿지 마세요.

더 엄격한 출력 계약은 JSON 모드와 json_schema 비교를 참고하세요. BroadNet은 GLM 5.3과 Qwen3.8 27B에 구조화된 출력 지원을 명시합니다.

BroadNet의 어떤 모델을 써야 하나요?

모델 선택 이유 100만 토큰당 입력 / 출력
Qwen3.8 27B BroadNet이 아랍어로 테스트함: 걸프와 이집트 방언 이해, 구조화된 출력 지원 명시 $0.175 / $2.17
BroadNet Gemma 4 VL 26B BroadNet에서 토큰당 가격이 가장 낮음. $5 상당의 초기 크레딧으로 실행 가능. 구조화된 출력이 명시되지 않았으므로 출력을 엄격히 검증하세요 $0.10 / $0.22
DeepSeek V4.1 Flash 세션당 월 $60 정액 플랜으로도 이용 가능, 한 번에 요청 1개 $0.175 / $0.52
GLM 5.3 구조화된 출력 지원 명시. 네 모델 중 가장 비쌈 $0.78 / $3.46

먼저 Qwen3.8 27B와 Gemma 4 VL 26B로 테스트 세트를 돌려 보세요. Gemma의 점수가 충분히 비슷하다면 짧은 라벨에는 Gemma가 더 저렴한 선택입니다. 이 표가 아니라 내 숫자로 고르세요.

분류기는 어떻게 테스트하나요?

  1. 위의 라벨 정의를 써서 원어민과 함께 실제 메시지 200개를 직접 라벨링하세요. 들어오는 모든 방언을 방언당 최소 30개씩 넣으세요.
  2. 200개 전부에 모델을 실행하세요.
  3. 매크로 F1을 계산하세요. 라벨별 F1 점수의 평균이므로 드문 라벨도 흔한 라벨만큼 반영됩니다. 정확도만 보면 cancel을 한 번도 말하지 않는 모델이 가려집니다.
  4. 혼동 행렬을 읽으세요. question과 complaint가 자주 뒤바뀐다면 정의가 겹치는 것입니다. 모델을 바꾸기 전에 정의를 고치세요.
  5. 결과를 방언별로 나누세요. 모델이 MSA에서는 강하고 걸프 방언에서는 약할 수 있습니다.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))

프롬프트나 모델을 바꿀 때마다 같은 세트를 다시 돌리세요. 고정된 테스트 세트 유지는 모델을 바꾸기 전에 LLM 평가하는 법에서 다룹니다.

대량으로 분류하려면 어떻게 하나요?

분류는 입력 비중이 큰 작업입니다. 긴 시스템 프롬프트, 짧은 메시지, 한 단어짜리 답변입니다. 세 가지 수단이 중요합니다.

요청당 메시지를 묶으세요. BroadNet 종량제 키는 분당 30개 요청과 동시 처리 4개를 허용합니다. 요청당 메시지 하나라면 키당 분당 30개, 하루로는 그 1,440배가 상한입니다. 짧은 메시지 20개를 번호 매긴 목록으로 보내고 결과 20개를 JSON 배열로 요청하면, 같은 요청 한도로 20배 많은 메시지를 처리합니다. 배열 길이가 맞는지, 항목마다 번호가 있는지 확인하세요.

프롬프트 앞부분을 똑같이 유지하세요. 시스템 프롬프트와 예시는 호출마다 같습니다. 이것들을 앞에 두고 메시지를 마지막에 두면 캐시에서 읽혀 캐시된 입력 가격이 적용됩니다. 예를 들어 Qwen3.8 27B에서는 100만 토큰당 $0.175 대신 $0.0435입니다. 앞부분이 캐시되도록 프롬프트를 구성하는 법을 참고하세요.

출력을 짧게 유지하세요. 출력 토큰은 입력보다 비쌉니다. 라벨과 짧은 인용구면 충분하며, 모델을 신뢰하게 되면 근거 필드는 빼세요.

아랍어는 보통 영어보다 단어당 토큰이 많으므로, 메시지 샘플을 아랍어 토큰 계산기로 세어 본 뒤 LLM API 비용 계산기로 월 비용을 계산하세요.

피해야 할 실수는 무엇인가요?

  • 영어 번역으로 테스트하기. 번역된 텍스트는 고객이 실제로 쓰는 글이 아닙니다.
  • 모든 방언에 점수 하나. 방언마다 따로 보고하세요.
  • 예외 라벨 없음. 모든 메시지에 실제 라벨을 억지로 붙이면 오류가 늘어납니다.
  • 자유 텍스트 답변. “부정적인 것 같습니다”는 파싱할 수 없습니다. JSON을 요청하고 검증하세요.
  • 비꼬는 말 무시하기. “ما شاء الله، ثالث مرة يتأخر الطلب”(번역: 대단하네요, 주문이 늦는 게 벌써 세 번째예요)는 단어만 보면 긍정이지만 불만입니다. 이런 예시를 프롬프트에 넣으세요.

LLM이 맞지 않는 분류기는 언제인가요?

라벨이 안정적이고, 라벨링된 예시가 이미 수천 개 있고, 물량이 수백만 건이라면, 파인튜닝한 아랍어 인코더 모델이 보통 메시지당 더 저렴하고 GPTAraEval에 따르면 더 정확할 수도 있습니다. 기다려도 되는 대규모 오프라인 작업이라면 배치 API가 있는 제공업체가 더 저렴할 수도 있습니다. OpenAI는 24시간 안에 완료되는 배치 작업에 50% 할인을 내세웁니다. BroadNet에는 배치 API가 없습니다. 흔한 패턴은 LLM으로 처음 수천 개 메시지에 라벨을 붙이고, 직접 검수한 뒤, 그 결과로 작은 모델을 학습시키는 것입니다.

BroadNet Inference가 맞는 경우

BroadNet은 OpenAI 호환 키 하나로 아랍어로 테스트한 모델(Qwen3.8 27B), 초기 크레딧으로 쓸 수 있는 저렴한 모델(Gemma 4 VL 26B), 정액제 선택지(DeepSeek V4.1 Flash)를 제공하며, 요청 후 메시지 내용을 보관하지 않습니다. 학습 파이프라인을 만들지 않고 아랍어 메시지를 분류하려는 지원팀에 잘 맞습니다. 배치 할인이나 파인튜닝한 모델이 더 저렴한 초대형 오프라인 작업에는 맞지 않습니다. 위의 프롬프트와 메시지 200개 테스트로 시작하고, 테스트 세트를 만들 때는 걸프, 이집트, 레반트 방언 글을 참고하세요.

자주 묻는 질문

LLM으로 아랍어 감성 분석을 할 수 있나요?

네. 학습 없이 라벨과 예시를 넣은 프롬프트로 가능합니다. 품질은 방언과 클래스에 따라 다릅니다. 공개된 테스트에서 LLM은 많은 작업에서 파인튜닝한 아랍어 모델에 뒤처졌고, 방언은 현대 표준 아랍어보다 점수가 낮았습니다. 내 데이터로 측정하세요.

분류에는 LLM이 파인튜닝한 아랍어 BERT 모델보다 나은가요?

항상 그렇지는 않습니다. GPTAraEval은 44개 작업에서 ChatGPT가 "consistently surpassed by smaller models that have undergone finetuning on Arabic"(번역: 아랍어로 파인튜닝한 더 작은 모델에 일관되게 뒤처진다)는 결과를 냈습니다. 라벨링된 예시가 적거나, 라벨이 자주 바뀌거나, 라벨마다 이유가 필요할 때는 LLM이 유리합니다.

걸프와 이집트 아랍어 메시지는 어떻게 분류하나요?

방언마다 라벨 붙은 예시를 주고, 어떤 방언이 들어올지 알려 주고, 방언별로 따로 점수를 매기세요. 이집트 리뷰를 잘 분류하는 모델도 걸프 방언의 비꼬는 말은 놓칠 수 있습니다.

매번 일관된 라벨을 받으려면 어떻게 하나요?

고정된 라벨 목록을 쓰고, 그 값만 담은 JSON을 요청하고, temperature를 0으로 두고, 목록에 없는 응답은 거부하세요. 결과를 재현할 수 있도록 같은 예시를 같은 순서로 보내세요.

BroadNet에서 하루에 메시지를 몇 개나 분류할 수 있나요?

종량제 키는 분당 30개 요청과 동시 4개를 허용합니다. 요청당 메시지 하나라면 키당 분당 최대 30개, 하루로는 그 1,440배입니다. 컨텍스트 한도 안에서 요청마다 짧은 메시지 20개를 넣으면 20배로 늘어납니다.

BroadNet에 대량 분류용 배치 API가 있나요?

아니요. BroadNet은 채팅 완성과 전사만 문서화합니다. 대규모 오프라인 작업은 요청당 메시지를 묶어 보내거나, 배치 API가 있는 제공업체와 비교하세요. OpenAI Batch API는 24시간 처리 기한에 50% 할인을 내세웁니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기