BroadRouter

Fine-tuning

Na-update

Ang fine-tuning ay ang proseso ng pagpapatuloy ng training ng isang pre-trained na language model sa mas maliit na dataset para sa isang partikular na task, gaya ng mga halimbawang conversation, para magbago ang weights nito at mas maaasahan nitong magawa ang task o style na iyon nang hindi kailangan ng mahahabang instruction o example sa bawat prompt.

Tinatawag ding: finetuning, supervised fine-tuning, SFT, model fine-tuning, pag-fine-tune ng model

Sa prompting, sinasabi mo sa model kung ano ang gagawin sa bawat pagkakataon. Sa fine-tuning, binabago mo ang model para alam na nito.

Paano ito gumagana

Nagsisimula ka sa isang trained na model at nagpapatakbo ng dagdag na training sa sarili mong mga example. Sa supervised fine-tuning (SFT), bawat example ay isang conversation na may sagot na gusto mo. Gumagamit ang gabay ng OpenAI ng JSONL, “one complete JSON structure on every line” (isang kumpletong JSON structure sa bawat linya), sa chat format:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

Inaayos ng training job ang weights para mas malamang na lumabas ang mga sagot na iyon, at nagbabalik ito ng bagong model ID. Nagtatakda ang OpenAI ng minimum na 10 example at inirerekomendang magsimula sa 50 at mag-evaluate bago magdagdag pa.

Ina-update ng full fine-tuning ang bawat weight, na magastos para sa malalaking model. Tinatawag ng LoRA paper nina Hu at mga kasama na sobrang mahal ang pag-deploy ng magkakahiwalay na fine-tuned na kopya ng GPT-3, “each with 175B parameters” (bawat isa ay may 175B parameter). Ang mga parameter-efficient na method gaya ng LoRA ay nagte-train na lang ng maliit na add-on. Kaugnay na ideya ang distillation: i-fine-tune ang maliit na model sa mga output ng mas malaking model.

Bakit ito mahalaga

  • Mas maiikling prompt. Puwedeng ilipat sa weights ang kilos na dati ay kailangan ng mahabang few-shot prompt, kaya nababawasan ang input token kada call.
  • Consistency. Bagay ito sa classification, fixed na style ng output, domain translation at pag-aayos ng mga palpak sa pagsunod sa instruction.
  • Maintenance. Naka-pin ang tuned na model sa iisang base model. Kapag niretiro ang base, magte-train ka ulit. Sinasabi na ngayon ng gabay ng OpenAI na unti-unti nitong isinasara ang fine-tuning platform nito, sarado na sa mga bagong user, at sine-serve ang mga tuned na model hanggang magsara ang mga base model nila.
  • Pagsukat muna. Bumuo ng eval bago mag-train, o hindi mo malalaman kung mas maganda ang tuned na model.

Hindi magandang paraan ang fine-tuning para magdagdag ng mga fact na nagbabago. Ang retrieval ang nagpapanatiling updated sa mga iyon.

Sa BroadNet Inference

Walang dokumentasyon sa API reference ng BroadNet para sa fine-tuning API, mga training job o pag-upload ng sarili mong weights. Pero sinasabi nito na ang “our Arabic fine-tunes and other models on request” (Salin ng BroadRouter: “ang aming mga Arabic fine-tune at iba pang model kapag hiniling”) ay naa-access gamit ang private model ID na ibinibigay kasama ng endpoint. Isang ganitong model ang nakalista ng BroadNet na available kapag hiniling: isang fine-tune ng Cohere Transcribe Arabic para sa mga numero, petsa at pangalan sa maingay na audio. Para sa public na Arabic transcription model, tingnan ang gabay sa Arabic speech-to-text. Kung kailangan mong mag-train ng sarili mo, karaniwang panimula ang isang open-weight model; nasa open-weight vs closed models ang mga trade-off.

Mga tanong

Ilang example ang kailangan ko para mag-fine-tune ng LLM?

Nagtatakda ang gabay ng OpenAI ng minimum na 10 at iminumungkahing magsimula sa 50 maayos na example, tapos sukatin. Kung walang binago ang 50 magandang example, pag-isipan ulit ang task bago magdagdag pa.

Fine-tuning o RAG para sa kaalaman ng kumpanya?

Kadalasan, retrieval. Mahusay ang fine-tuning sa pagtuturo ng kilos at format, pero mas madaling panatilihing updated ang mga fact na nagbabago kapag nasa mga dokumentong kinukuha mo sa oras ng request.

Puwede ba akong mag-fine-tune ng model sa BroadNet Inference?

Walang fine-tuning API na nakalista sa docs ng BroadNet. Binabanggit nito ang sariling Arabic fine-tunes ng BroadNet, na naa-access bilang private endpoint kapag hiniling.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity