Fine-tuning sering menjadi solusi pertama yang dicari orang saat model salah, dan sering kali itu solusi yang keliru. Biayanya meliputi pengumpulan data, pelabelan, run pelatihan, dan model yang sekarang harus Anda rawat. Banyak kegagalan hilang dengan prompt yang lebih jelas, retrieval dokumen yang tepat, atau pengecekan output di kode. Artikel ini membantu Anda menentukan kasus mana yang sedang Anda hadapi, dan apa yang perlu disiapkan jika Anda benar-benar membutuhkan model kustom.
Masalah apa yang ingin Anda selesaikan?
Sebut kegagalannya sebelum menyebut solusinya. Sebagian besar kegagalan LLM masuk ke beberapa pola, dan masing-masing punya langkah pertama yang lebih murah:
| Gejala | Coba dulu | Fine-tuning membantu jika |
|---|---|---|
| Fakta salah atau usang | Retrieval (RAG) atas dokumen Anda | Jarang; fakta yang berubah tetap butuh retrieval |
| Format salah, JSON rusak | Output terstruktur, pengecekan skema, satu kali retry | Formatnya tidak lazim dan contoh di prompt tidak cukup |
| Label atau kategori tidak konsisten | Definisi yang jelas dan contoh few-shot | Set labelnya besar atau halus dan contohnya tidak muat di prompt |
| Nada atau gaya salah | Panduan gaya di system prompt, dengan contoh | Gaya perusahaan harus terjaga di ribuan output |
| Istilah domain salah dengar atau salah eja | Daftar kosakata di prompt, koreksi pascaproses di kode | Model suara berulang kali salah dengar nama, kode, atau angka yang sama |
| Terlalu lambat atau mahal pada skala besar | Model yang lebih kecil, prompt caching, prompt yang lebih pendek | Model kecil yang di-fine-tune bisa menyamai model besar pada tugas yang sempit |
| Bahasa atau dialek salah | Instruksi dalam bahasa yang tepat; lihat prompt engineering bahasa Arab | Model paham tetapi tidak mau menulis dalam dialek yang Anda butuhkan |
Panduan OpenAI sendiri menjelaskan urutan yang sama: tulis evaluasi dulu, lalu iterasi prompt, dan lakukan fine-tuning untuk sebagian kasus. Panduan itu menyebut proses prompt engineering “may be all you need in order to get great results.” (Terjemahan BroadRouter: mungkin sudah cukup untuk mendapatkan hasil yang bagus.) Panduan itu juga mendaftar apa yang ditambahkan fine-tuning dibanding prompting: lebih banyak contoh daripada yang muat dalam satu prompt, prompt lebih pendek yang menghemat token, pelatihan dengan data yang tidak ingin Anda kirim di setiap permintaan, dan membuat model yang lebih kecil unggul di satu tugas.
Bagaimana membuktikan kegagalannya berulang?
Dengan set evaluasi. Kumpulkan 100 hingga 200 input nyata dengan output yang benar, seperti di mengevaluasi LLM sebelum beralih. Beri skor prompt Anda saat ini. Lalu beri label setiap kegagalan dengan kategori singkat: wrong_label, missing_field, dialect, hallucinated_fact, dan seterusnya.
Sebuah pola baru menjadi kandidat fine-tuning jika ketiga hal ini benar:
- Sering terjadi. Pola itu mencakup porsi kegagalan yang berarti, bukan satu dua kasus aneh.
- Bertahan setelah perbaikan murah. Anda sudah mencoba instruksi yang lebih jelas, contoh, retrieval, dan validasi, dan kategorinya masih ada.
- Konsisten. Orang sepakat soal jawaban yang benar. Jika dua reviewer Anda sendiri melabeli kasus yang sama secara berbeda, model yang dilatih dengan label mereka akan mempelajari ketidaksepakatan itu.
Tuliskan hasilnya sebagai pernyataan singkat, seperti contoh rekaan ini: “Pada set dukungan pelanggan bahasa Arab kami yang berisi 200 kasus, prompt terbaik salah melabeli 18% tiket penagihan sebagai pengiriman; contoh few-shot menurunkannya ke 15%.” Kalimat itu adalah brief untuk fine-tune, dan angkanya adalah skor yang harus dikalahkan.
Perubahan sederhana apa yang sebaiknya diuji dulu?
Jalankan sesuai urutan biaya, dan beri skor ulang setelah setiap langkah:
- Instruksi. Definisikan setiap label atau field. Jelaskan apa yang harus dilakukan saat ragu.
- Contoh. Tambahkan tiga sampai sepuluh contoh nyata, termasuk kasus-kasus sulit.
- Retrieval. Jika jawaban membutuhkan fakta, ambil bagian dokumen yang relevan. Pencarian RAG bahasa Arab dan context panjang vs RAG membahas pilihannya.
- Batasan. Pakai output terstruktur jika model mendukungnya, dan cek output di kode. Tanyakan ulang sekali dengan menyertakan error-nya.
- Model lain. Model dasar yang berbeda mungkin sudah bisa melakukan apa yang Anda butuhkan. Set evaluasi yang sama memberi jawabannya dalam satu jam.
Setiap langkah memakan waktu beberapa jam, bukan minggu, dan masing-masing memberi baseline yang lebih baik untuk dikalahkan fine-tune jika Anda masih membutuhkannya.
Data apa yang dibutuhkan, dan apakah Anda berhak memakainya?
Sebelum kualitas, cek hak pakai. Data latih sering berasal dari percakapan pelanggan, dokumen, atau rekaman panggilan. Anda membutuhkan dasar hukum dan, sering kali, persetujuan atau klausul kontrak yang mencakup pelatihan. Cek pemberitahuan privasi dan kontrak pelanggan Anda sendiri, dan hapus data pribadi yang tidak Anda perlukan. Jangan berasumsi provider API Anda mengumpulkannya untuk Anda: pernyataan privasi BroadNet, misalnya, menyebutkan bahwa konten inferensi tidak disimpan dan data inferensi tidak dipakai untuk melatih, fine-tune, atau mengevaluasi model.
Lalu cek kualitasnya. Skrip ini membaca file latih dan file evaluasi dalam format chat JSONL yang umum (satu {"messages": [...]} per baris, diakhiri jawaban assistant) dan melaporkan masalah yang diam-diam merusak fine-tune: baris rusak, duplikat, input sama dengan jawaban berbeda, item evaluasi yang bocor ke data latih, keseimbangan label, dan kemungkinan data pribadi.
import json, re, sys
from collections import Counter
DIAC = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
PII = {"email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
"phone": re.compile(r"(?:\+|00)\d[\d\s-]{7,}\d")}
def norm(s: str) -> str:
s = DIAC.sub("", s.lower())
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي")
return " ".join(s.split())
def load(path):
rows, errors = [], []
for i, line in enumerate(open(path, encoding="utf-8"), 1):
try:
ex = json.loads(line)
roles = [m["role"] for m in ex["messages"]]
if roles[-1] != "assistant" or "user" not in roles:
raise ValueError(f"roles {roles}")
rows.append(ex)
except (ValueError, KeyError, IndexError, TypeError) as e:
errors.append(f"line {i}: {e}")
return rows, errors
def key(ex): # the input side, normalised: what the model sees
return norm(" ".join(m["content"] for m in ex["messages"] if m["role"] != "assistant"))
def check(train_path, eval_path):
train, errs = load(train_path)
evals, eval_errs = load(eval_path)
keys = Counter(key(e) for e in train)
labels = Counter(e["messages"][-1]["content"].strip() for e in train)
leaked = {key(e) for e in evals} & set(keys)
pii = Counter(k for e in train for m in e["messages"] for k, rx in PII.items() if rx.search(m["content"]))
conflicts = Counter()
seen = {}
for e in train:
k, a = key(e), e["messages"][-1]["content"].strip()
if k in seen and seen[k] != a:
conflicts[k] += 1
seen.setdefault(k, a)
return {"train_examples": len(train), "parse_errors": errs + eval_errs,
"duplicate_inputs": sum(n - 1 for n in keys.values() if n > 1),
"same_input_different_answer": len(conflicts),
"eval_items_also_in_train": len(leaked),
"answer_distribution": labels.most_common(5),
"examples_with_possible_pii": dict(pii)}
if __name__ == "__main__":
print(json.dumps(check(sys.argv[1], sys.argv[2]), ensure_ascii=False, indent=1))
Kami menjalankannya pada file contoh tujuh baris berisi tiket dukungan berbahasa Arab, Inggris, dan Spanyol. Skrip ini menemukan satu baris tanpa jawaban assistant, dua input duplikat (salah satunya hanya berbeda satu harakat, yang dihapus oleh normalizer, seperti di normalisasi teks bahasa Arab), satu input yang dilabeli billing sekaligus other, satu item evaluasi yang juga muncul di data latih, dan satu nomor telepon. Masing-masing akan membuat fine-tune tampak lebih baik atau lebih buruk dari kenyataannya.
Normalisasi penting untuk bahasa Arab. Tanpanya, “متأخر” dan “متأخِّر” dihitung sebagai input berbeda, dan salinan yang nyaris sama dari item tes bisa lolos ke data latih.
Bagaimana mengevaluasi fine-tune secara adil?
Pakai test set yang sama dengan yang Anda pakai untuk baseline, dan jauhkan dari data latih. Lalu bandingkan:
- Dengan prompt terbaik, bukan prompt pertama. Fine-tune yang mengalahkan prompt lemah tidak membuktikan apa pun.
- Per kategori dan per bahasa. Kenaikan keseluruhan bisa menyembunyikan penurunan di bahasa Arab saat bahasa Inggris membaik. Laporkan masing-masing.
- Pada perilaku umum. Tambahkan 20 sampai 50 permintaan biasa yang sebelumnya ditangani model dengan baik. Pelatihan yang sempit bisa menurunkan perilaku di luar tugasnya.
- Pada biaya dan latensi. Fine-tune sering dibenarkan karena model yang lebih kecil bisa mengerjakan tugasnya. Ukur juga token dan waktu per permintaan.
Tentukan aturan lulus sebelum Anda melihat angkanya, seperti di artikel evaluasi: misalnya, “minimal 5 poin lebih baik pada label penagihan, tidak ada kategori yang memburuk lebih dari 2 poin, bahasa Arab dan Inggris sama-sama lulus.”
Apa yang berubah jika Anda tidak bisa fine-tuning model yang di-host?
API hosted yang menawarkan fine-tuning self-serve lebih sedikit daripada yang mungkin Anda kira. Halaman deprecations OpenAI mencatat pembaruan pada platform fine-tuning self-serve-nya: mulai 7 Mei 2026, organisasi yang belum pernah menjalankan fine-tuning tidak bisa lagi membuat job; mulai 2 Juli 2026, organisasi yang tidak menjalankan inferensi pada model hasil fine-tuning dalam 60 hari terakhir juga tidak bisa; dan mulai 6 Januari 2027 pelanggan aktif yang sudah ada tidak bisa lagi membuat job fine-tuning baru. Model hasil fine-tuning yang sudah ada tetap tersedia untuk inferensi sampai model dasarnya di-deprecate.
Alternatif yang umum adalah model open-weight yang dilatih dengan metode parameter-efficient seperti LoRA. Paper LoRA (Hu dkk.) melaporkan bahwa, dibanding full fine-tuning GPT-3 175B dengan Adam, LoRA bisa mengurangi jumlah parameter yang dilatih hingga 10.000 kali dan kebutuhan memori GPU hingga 3 kali. Setelah itu Anda butuh tempat untuk men-serve hasilnya, entah hardware Anda sendiri atau provider yang meng-host bobot kustom. Model open-weight vs tertutup membahas trade-off itu.
Posisi BroadNet Inference
BroadRouter adalah situs milik BroadNet sendiri. API self-serve BroadNet Inference tidak punya endpoint fine-tuning: referensi API-nya hanya mendokumentasikan chat completions dan transkripsi audio. Halaman yang sama menyebutkan “private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.” (Terjemahan BroadRouter: endpoint privat, fine-tune bahasa Arab kami, dan model lain berdasarkan permintaan diakses dengan ID privat yang diterbitkan bersama endpoint.) Halaman model BroadNet mencantumkan fine-tune BroadNet untuk Cohere Transcribe Arabic, khusus angka, tanggal, dan nama di audio yang berisik, sebagai model berdasarkan permintaan dengan ID model privat per pelanggan, dan menyebut Gemma 4 VL 26B tersedia di endpoint privat “including our Arabic fine-tunes” (Terjemahan BroadRouter: termasuk fine-tune bahasa Arab kami). Semua ini adalah permintaan lewat halaman kontak, bukan sesuatu yang bisa Anda beli atau latih sendiri; merencanakan endpoint privat membahas apa yang perlu dikirim.
Untuk semua langkah sebelum itu, model publik sudah cukup untuk membangun set evaluasi dan baseline Anda: Qwen3.8 27B dan GLM 5.3 mendokumentasikan output terstruktur, Gemma 4 VL 26B berjalan dengan kredit awal $5, dan BroadNet Transcribe Arabic menangani suara dengan harga $0.0042 per menit. Konten inferensi tidak disimpan; metadata akun, penagihan, dan keamanan yang diperlukan disimpan sebagaimana dijelaskan di pernyataan privasi BroadNet.
