BroadRouter

İnce ayardan önce: çözülecek sorunu tanımlayın

BroadNet Inference ekibi · 7 dk okuma · Yayımlandı · Güncellendi

İnce ayarı yalnızca bir değerlendirme, daha iyi istemlerin, örneklerin, erişimin (RAG) ve doğrulamanın düzeltemediği tekrarlayan bir hata gösterdikten sonra yapın. Eksik bilgi genellikle erişim, format hataları ise yapılandırılmış çıktı ve kontrol ister. Özel bir model istemeden önce yasal olarak kullanabileceğiniz etiketli örnekler toplayın, bir test setini ayırın ve geçilecek puanı kaydedin.

Bir model bir şeyi yanlış yaptığında insanların ilk uzandığı çözüm çoğu zaman ince ayardır ve çoğu zaman bu yanlış çözümdür. Veri toplama, etiketleme, eğitim çalıştırmaları ve artık bakımını sizin yapmanız gereken bir model demektir. Pek çok hata daha net bir istemle, doğru belgenin erişimiyle veya çıktı üzerinde koddaki bir kontrolle ortadan kalkar. Bu yazı hangi durumda olduğunuza karar vermeyi ve gerçekten özel bir modele ihtiyacınız varsa neyi hazırlamanız gerektiğini anlatıyor.

Hangi sorunu çözmeye çalışıyorsunuz?

Çözümü adlandırmadan önce hatayı adlandırın. LLM hatalarının çoğu birkaç kalıba girer ve her birinin daha ucuz bir ilk adımı vardır:

Belirti Önce deneyin İnce ayar şu durumda işe yarar
Yanlış veya güncelliğini yitirmiş bilgi Belgeleriniz üzerinde erişim (RAG) Nadiren; değişen bilgiler zaten erişim gerektirir
Yanlış format, bozuk JSON Yapılandırılmış çıktı, şema kontrolleri, bir yeniden deneme Format alışılmadıktır ve istemdeki örnekler yetmez
Tutarsız etiketler veya kategoriler Net tanımlar ve az örnekli (few-shot) istem Etiket kümesi büyük veya incelikli ve örnekler isteme sığmıyor
Yanlış ton veya üslup Sistem isteminde örnekli bir üslup rehberi Kurum üslubunun binlerce çıktıda korunması gerekir
Alan terimleri yanlış duyuluyor veya yazılıyor İstemde bir terim listesi, kodda sonradan düzeltme Konuşma modelleri aynı adları, kodları veya sayıları tekrar tekrar yanlış duyar
Ölçekte fazla yavaş veya pahalı Daha küçük bir model, istem önbellekleme, daha kısa istemler İnce ayarlı küçük bir model dar bir görevde büyük bir modele yetişebilir
Yanlış dil veya lehçe Doğru dilde talimatlar; bkz. Arapça istem mühendisliği Model anlıyor ama ihtiyacınız olan lehçede yazmıyor

OpenAI’ın kendi rehberi de aynı sırayı anlatıyor: önce değerlendirmeleri yazın, sonra istemler üzerinde yineleyin ve bazı kullanım durumlarında ince ayar yapın. Rehber, istem mühendisliği sürecinin “may be all you need in order to get great results” (BroadRouter çevirisi: harika sonuçlar almak için ihtiyacınız olan tek şey olabilir) olduğunu söylüyor. İnce ayarın isteme göre neler kattığını da sıralıyor: tek bir isteme sığmayacak kadar çok örnek, token tasarrufu sağlayan daha kısa istemler, her istekte göndermek istemediğiniz verilerle eğitim ve daha küçük bir modeli tek bir görevde iyi hâle getirme.

Hatanın tekrarlandığını nasıl kanıtlarsınız?

Bir değerlendirme setiyle. Geçiş yapmadan önce LLM değerlendirme yazısındaki gibi, iyi çıktısı bilinen 100 ila 200 gerçek girdi toplayın. Mevcut isteminizi puanlayın. Sonra her hatayı kısa bir kategoriyle etiketleyin: wrong_label, missing_field, dialect, hallucinated_fact vb.

Bir kalıp ancak şu üçü birden doğruysa ince ayar adayıdır:

  1. Sıktır. Bir iki tuhaf vaka değil, hataların anlamlı bir payını oluşturur.
  2. Ucuz çözümlere rağmen sürer. Daha net talimatları, örnekleri, erişimi ve doğrulamayı denediniz; kategori hâlâ orada.
  3. Tutarlıdır. İnsanlar doğru yanıt üzerinde anlaşır. Kendi inceleyicilerinizden ikisi aynı vakayı farklı etiketliyorsa onların etiketleriyle eğitilen bir model bu anlaşmazlığı öğrenir.

Sonucu kısa bir cümleyle yazın, örneğin şu uydurma örnek gibi: “200 vakalık Arapça destek setimizde en iyi istem, faturalama taleplerinin %18’ini teslimat olarak yanlış etiketliyor; az örnekli istem bunu %15’e indiriyor.” Bu cümle bir ince ayarın görev tanımı, içindeki sayı da geçilmesi gereken puandır.

Önce hangi basit değişiklikleri test etmelisiniz?

Bunları maliyet sırasıyla uygulayın ve her birinden sonra yeniden puanlayın:

  1. Talimatlar. Her etiketi veya alanı tanımlayın. Emin olunmadığında ne yapılacağını söyleyin.
  2. Örnekler. Zor vakalar dahil üç ila on gerçek örnek ekleyin.
  3. Erişim. Yanıtlar bilgi gerektiriyorsa ilgili pasajı getirin. Seçenekleri Arapça RAG araması ve uzun bağlam ve RAG yazıları anlatıyor.
  4. Kısıtlar. Modelin desteklediği yerde yapılandırılmış çıktı kullanın ve çıktıyı kodda kontrol edin. Hatayla birlikte bir kez yeniden sorun.
  5. Başka bir model. Farklı bir temel model ihtiyacınız olanı zaten yapıyor olabilir. Aynı değerlendirme seti bunu size bir saatte söyler.

Her adım haftalar değil saatler sürer ve her biri, hâlâ gerekiyorsa bir ince ayarın geçmesi gereken daha iyi bir taban çizgisi bırakır.

Hangi veriye ihtiyacınız var ve onu kullanma hakkınız var mı?

Kaliteden önce hakları kontrol edin. Eğitim verisi çoğu zaman müşteri konuşmalarından, belgelerden veya çağrı kayıtlarından gelir. Bir hukuki dayanağa ve çoğu zaman eğitimi kapsayan bir onaya veya sözleşme maddesine ihtiyacınız vardır. Kendi gizlilik bildiriminizi ve müşteri sözleşmelerinizi kontrol edin, ihtiyacınız olmayan kişisel verileri çıkarın. API sağlayıcınızın bu veriyi sizin için topladığını varsaymayın: örneğin BroadNet’in gizlilik beyanı, çıkarım içeriğini saklamadığını ve çıkarım verilerini modelleri eğitmek, ince ayarlamak veya değerlendirmek için kullanmadığını söylüyor.

Sonra kaliteyi kontrol edin. Bu betik, yaygın sohbet JSONL formatındaki (satır başına bir {"messages": [...]}, asistanın yanıtıyla biten) bir eğitim dosyasını ve bir değerlendirme dosyasını okuyor ve ince ayarları sessizce bozan sorunları raporluyor: bozuk satırlar, yinelenenler, farklı yanıtlara sahip aynı girdi, eğitime sızmış değerlendirme öğeleri, etiket dengesi ve olası kişisel veriler.

import json, re, sys
from collections import Counter

DIAC = re.compile(r"[ً-ٰٟـ]")          # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
       "phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}

def norm(s: str) -> str:
    s = DIAC.sub("", s.lower())
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
    return " ".join(s.split())

def load(path):
    rows, errors = [], []
    for i, line in enumerate(open(path, encoding="utf-8"), 1):
        try:
            ex = json.loads(line)
            roles = [m["role"] for m in ex["messages"]]
            if roles[-1] != "assistant" or "user" not in roles:
                raise ValueError(f"roles {roles}")
            rows.append(ex)
        except (ValueError, KeyError, IndexError, TypeError) as e:
            errors.append(f"line {i}: {e}")
    return rows, errors

def key(ex):     # the input side, normalised: what the model sees
    return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))

def check(train_path, eval_path):
    train, errs = load(train_path)
    evals, eval_errs = load(eval_path)
    keys = Counter(key(e) for e in train)
    labels = Counter(e["messages"][-1]["content"].strip() for e in train)
    leaked = {key(e) for e in evals} & set(keys)
    pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
    conflicts = Counter()
    seen = {}
    for e in train:
        k, a = key(e), e["messages"][-1]["content"].strip()
        if k in seen and seen[k] != a:
            conflicts[k] += 1
        seen.setdefault(k, a)
    return {"train_examples": len(train), "parse_errors": errs + eval_errs,
            "duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
            "same_input_different_answer": len(conflicts),
            "eval_items_also_in_train": len(leaked),
            "answer_distribution": labels.most_common(5),
            "examples_with_possible_pii": dict(pii)}

if __name__ == "__main__":
    print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))

Bunu Arapça, İngilizce ve İspanyolca destek taleplerinden oluşan yedi satırlık oyuncak bir dosyada çalıştırdık. Asistan yanıtı olmayan bir satır, iki yinelenen girdi (biri yalnızca normalleştiricinin kaldırdığı bir harekeyle farklıydı; bkz. Arapça metin normalleştirme), hem billing hem other olarak etiketlenmiş bir girdi, eğitimde de görünen bir değerlendirme öğesi ve bir telefon numarası buldu. Bunların her biri ince ayarı olduğundan daha iyi veya daha kötü gösterirdi.

Normalleştirme Arapça için önemli. O olmadan “متأخر” ve “متأخِّر” farklı girdiler sayılır ve bir test öğesinin neredeyse aynısı eğitime sızabilir.

Bir ince ayarı adil biçimde nasıl değerlendirirsiniz?

Taban çizgisi için kullandığınız aynı ayrılmış test setini kullanın ve onu eğitimin dışında tutun. Sonra karşılaştırın:

  • İlk istemle değil, en iyi istemle. Zayıf bir istemi geçen bir ince ayar hiçbir şey kanıtlamaz.
  • Kategori ve dil bazında. Genel bir kazanç, İngilizce iyileşirken Arapçadaki bir düşüşü gizleyebilir. Her birini ayrı raporlayın.
  • Genel davranış üzerinde. Modelin önceden iyi yönettiği 20 ila 50 sıradan istek ekleyin. Dar bir eğitim görev dışındaki davranışı bozabilir.
  • Maliyet ve gecikme üzerinde. Bir ince ayar çoğu zaman işi daha küçük bir modelin yapmasıyla gerekçelendirilir. İstek başına token’ları ve süreyi de ölçün.

Değerlendirme yazısındaki gibi, geçme kuralına sayıları görmeden önce karar verin: örneğin “faturalama etiketlerinde en az 5 puan daha iyi, hiçbir kategori 2 puandan fazla kötüleşmiyor, Arapça ve İngilizcenin ikisi de geçiyor.”

Barındırılan modellere ince ayar yapamadığınızda ne değişir?

Self-servis ince ayar sunan barındırılan API sayısı beklediğinizden azdır. OpenAI’ın kullanımdan kaldırmalar sayfası, self-servis ince ayar platformunda bir güncelleme kaydediyor: 7 Mayıs 2026’dan itibaren daha önce ince ayar çalıştırmamış kuruluşlar artık iş oluşturamıyor; 2 Temmuz 2026’dan itibaren son 60 günde ince ayarlı bir modelde çıkarım çalıştırmamış kuruluşlar da oluşturamıyor; 6 Ocak 2027’den itibaren ise mevcut aktif müşteriler de yeni ince ayar işi oluşturamayacak. Mevcut ince ayarlı modeller, temel modelleri kullanımdan kaldırılana kadar çıkarım için kullanılabilir kalıyor.

Olağan alternatif, LoRA gibi parametre açısından verimli bir yöntemle eğitilmiş bir açık ağırlıklı model. LoRA makalesi (Hu vd.), GPT-3 175B’nin Adam ile tam ince ayarına kıyasla LoRA’nın eğitilebilir parametre sayısını 10.000 kat, GPU bellek gereksinimini ise 3 kat azaltabildiğini bildiriyor. Ardından sonucu sunacak bir yere ihtiyacınız olur: ya kendi donanımınız ya da özel ağırlıkları barındıran bir sağlayıcı. Bu ödünleşimi açık ağırlıklı ve kapalı modeller yazısı anlatıyor.

BroadNet Inference’ın yeri

BroadRouter, BroadNet’in kendi sitesidir. BroadNet Inference’ın self-servis API’sinde ince ayar uç noktası yok: API başvurusu yalnızca chat completions ve ses transkripsiyonunu belgeliyor. Aynı sayfa “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint” (BroadRouter çevirisi: özel uç noktalara, Arapça ince ayarlarımıza ve talep üzerine sunulan diğer modellere, uç noktayla birlikte verilen özel bir kimlikle erişilir) diyor. BroadNet’in model sayfaları, gürültülü seste sayılar, tarihler ve adlar için Cohere Transcribe Arabic’in bir BroadNet ince ayarını müşteri başına özel model kimliğiyle talep üzerine sunulan bir model olarak listeliyor ve Gemma 4 VL 26B’nin “including our Arabic fine-tunes” (BroadRouter çevirisi: Arapça ince ayarlarımız dahil) özel bir uç noktada kullanılabildiğini söylüyor. Bunlar kendiniz satın alabileceğiniz veya eğitebileceğiniz şeyler değil, iletişim sayfası üzerinden yapılan taleplerdir; ne göndermeniz gerektiğini özel bir uç nokta planlama yazısı anlatıyor.

O adımdan önceki her şey için, değerlendirme setinizi ve taban çizginizi kurmaya herkese açık modeller yeterli: Qwen3.8 27B ve GLM 5.3 yapılandırılmış çıktıyı belgeliyor, Gemma 4 VL 26B $5 başlangıç kredisiyle çalışıyor ve BroadNet Transcribe Arabic konuşmayı dakikası $0.0042 fiyatla işliyor. Çıkarım içeriği saklanmaz; gerekli hesap, faturalama ve güvenlik meta verileri BroadNet’in gizlilik beyanında anlatıldığı şekilde saklanır.

Sık sorulan sorular

İnce ayar mı yapmalıyım, RAG mı kullanmalıyım?

Modelde bilgi, özellikle de değişen bilgi (belgeler, fiyatlar, politikalar) eksikse erişim (RAG) kullanın. Model bilgiye sahip olduğu hâlde format, ton, etiketler veya alan terimleri gibi konularda tutarlı biçimde yanlış davranıyorsa ve örnekli istemler bunu düzeltmediyse ince ayarı düşünün.

İstem mühendisliğinin yeterli olup olmadığını nasıl anlarım?

Ölçün. Gerçek girdilerden bir değerlendirme seti kurun, mevcut istemi puanlayın, sonra daha net talimatları, az örnekli (few-shot) istemi, yapılandırılmış çıktıyı ve doğrulamayı deneyin. Puan hedefinize ulaşırsa durun. Bu değişikliklere rağmen tek bir hata türü sürüyorsa o, ince ayar adayıdır.

İnce ayar için ne kadar veri gerekir?

Herkes için geçerli bir sayı yok. Göreve, temel modele ve yönteme bağlı. Önemsediğiniz her durumu kapsayacak kadar etiketli ve tutarlı örnek toplayın, buna ayrı bir test seti ekleyin ve veri ekledikçe puanın hâlâ artıp artmadığına bakın.

BroadNet Inference'ta bir modele ince ayar yapabilir miyim?

Self-servis olarak hayır. BroadNet'in API başvurusu chat completions ve ses transkripsiyonunu belgeliyor; eğitim uç noktası yok. BroadNet, ince ayarlı bir Cohere Transcribe Arabic gibi Arapça ince ayarları, özel bir model kimliğiyle özel bir uç noktada sunulan talep üzerine modeller olarak listeliyor.

BroadNet API trafiğimle model eğitiyor mu?

BroadNet'in gizlilik beyanı, çıkarım verilerini modelleri eğitmek, ince ayarlamak veya değerlendirmek için kullanmadığını ve çıkarım içeriğini saklamadığını söylüyor. Kendi trafiğinizle ince ayar yapmak istiyorsanız bu veriyi kullanım hakkıyla birlikte kendiniz toplayıp saklamalısınız.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor