BroadRouter
Başlayın

Kod değiştirme (code-switching)

Güncellendi

Kod değiştirme (code-switching), konuşmada veya yazıda aynı sohbet ya da cümle içinde iki veya daha fazla dilin ya da bir dilin varyantlarının kullanılmasıdır. Örnekler arasında Arapça konuşanların lehçeye İngilizce kelimeler karıştırması veya Modern Standart Arapça ile kendi lehçeleri arasında gidip gelmesi vardır.

Diğer adları: kod değiştirme, dil değiştirme, kod karıştırma, dil karıştırma, karışık dilli metin, code switching, code-mixing, code mixing, language mixing, mixed-language text

Kod değiştirme iki dilli insanlar için olağan konuşmadır. Girdi başına tek bir dil bekleyen yazılım için ise yaygın bir hata kaynağıdır.

Nasıl çalışır

Solorio vd. (2014), kod değiştirilmiş veri üzerine ilk ortak görevde onu geniş biçimde, “spoken or written, where two or more languages are being used interchangeably” (çeviri: sözlü veya yazılı olarak iki ya da daha fazla dilin birbirinin yerine kullanıldığı) bir iletişim eylemi olarak tanımlar. Görevleri, Twitter gönderilerinin her kelimesini dört çiftte diline göre etiketledi: Modern Standart Arapça-Lehçeli Arapça, Mandarin-İngilizce, Nepalce-İngilizce ve İspanyolca-İngilizce. Yedi takım 42 çalıştırma gönderdi. Kelime düzeyinde tespit, ikisi birbirine çok yakın olduğu için MSA ile lehçe arasında en zor; İspanyolca-İngilizce ve Nepalce-İngilizce için en kolaydı.

Arapça kullanıcılar aynı anda birkaç şekilde geçiş yapar:

  • Lehçe ve MSA. MADAR makalesi, TV tartışma programları gibi MSA beklenen ama metne bağlı olmayan ortamlarda konuşanların lehçeleriyle MSA arasında tekrar tekrar geçiş yaptığını belirtir.
  • Arapça ile İngilizce veya Fransızca. Darwish (2014), pek çok Arapça konuşanın iki dilli olduğunu ve cümle içinde İngilizce veya Fransızcayı Arapçayla karıştırdığını gözlemler.
  • Alfabeler. Yazılan mesajlar tek satırda Arap alfabesini, Latin alfabesini ve Arabizi karıştırabilir.

Tipik bir Körfez sohbet mesajı bunların hepsini karıştırır:

عندي meeting بكرة الساعة 3، can we move it?
("I have a meeting tomorrow at 3, can we move it?")

Arapça kelimeler lehçedir, “meeting” Arapça bir yan cümlenin içinde İngilizcedir ve cümle İngilizce biter. Bir dil tespit aracı, bir tokenizer ve bir konuşma modeli bu geçişle ayrı ayrı başa çıkmak zorundadır.

Neden önemli

  • Konuşmadan metne. Bir transkripsiyon isteği genellikle tek bir language alır. Arapça konuşmanın içindeki İngilizce bir ürün adı Arap harfleriyle, Latin harfleriyle ya da yanlış duyulmuş olarak çıkabilir. Bir kural üzerinde anlaşın ve kelime hata oranını ona göre puanlayın; yoksa üslup farklarını hata olarak sayarsınız.
  • Yönlendirme ve arama. Mesaj başına tek etiket seçen bir dil tespit aracı karışık mesajları yanlış etiketler; Arapça niyetler İngilizce akışa düşebilir.
  • LLM istemleri. Modele girdinin dilleri karıştırabileceğini söyleyin ve hangi dilde cevap vereceğini belirtin. Aksi halde en son hangi dil geldiyse onu yansıtabilir.

BroadNet Inference’ta

BroadNet’in belgeleri transkripsiyonla birlikte her zaman language göndermeyi söyler (Arapça için ar, İngilizce için en) ve o olmadan Arapçanın Latin harflerine çevrilebileceği konusunda uyarır. Karışık dil için bir ayar belgelenmemiştir. İngilizce kelimeler içeren Arapça konuşma için BroadNet Transcribe Arabic modeline language=ar gönderin ve gerçek kayıtlarla test edin; lehçe konuşma tanıma makalesi bu test setini kurmayı anlatır. Sohbetteki karışık metin için BroadNet’in Arapça lehçelerle test ettiğini bildirdiği model Qwen3.8 27B’dir.

Sık sorulan sorular

Code-switching ile code-mixing aynı şey mi?

Pratikte iki ad da tek bir mesajda veya sohbette birden fazla dili tanımlar ve dil araçları için aynı sorunlara yol açar. Bu sözlük onları tek terim olarak ele alır.

İçinde İngilizce kelimeler olan Arapça ses için hangi dili göndermeliyim?

BroadNet'te ağırlıklı olarak Arapça olan ses için language=ar gönderin. İngilizce kelimelerin Latin harfleriyle kalıp kalmayacağına önceden karar verin ve bir transkript örneğini kontrol edin.

LLM'ler kod değiştirilmiş metni anlayabilir mi?

Arapça ve İngilizce gibi yaygın çiftlerde genellikle evet, ama kalite modele ve lehçeye göre değişir. İstemde girdinin dilleri karıştırabileceğini söyleyin, yanıt dilini belirtin ve kullanıcılarınızın gerçek mesajlarıyla test edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor