Промпт каждый раз объясняет модели, что делать. Дообучение меняет саму модель, чтобы она это уже знала.
Как это работает
Вы берёте обученную модель и продолжаете обучение на своих примерах. При supervised fine-tuning (SFT, обучение с учителем) каждый пример — это диалог с нужным вам ответом. Руководство OpenAI использует JSONL, “one complete JSON structure on every line” (перевод: «одна полная JSON-структура в каждой строке»), в формате чата:
{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}
Задача обучения подстраивает веса так, чтобы эти ответы стали вероятнее, и возвращает новый ID модели. OpenAI устанавливает минимум в 10 примеров и рекомендует начать с 50 и оценить результат, прежде чем добавлять ещё.
Полное дообучение обновляет все веса, а для больших моделей это дорого. В статье о LoRA Hu и соавторы называют развёртывание отдельных дообученных копий GPT-3, “each with 175B parameters” (перевод: «каждая со 175 млрд параметров»), непомерно дорогим. Параметрически эффективные методы, такие как LoRA, вместо этого обучают небольшую надстройку. Родственная идея — дистилляция: дообучение маленькой модели на выходах большой.
Почему это важно
- Более короткие промпты. Поведение, для которого требовался длинный few-shot промпт, можно перенести в веса и сократить число входных токенов на вызов.
- Стабильность. Хорошо подходят классификация, фиксированный стиль ответа, перевод в предметной области и исправление сбоев в следовании инструкциям.
- Поддержка. Дообученная модель привязана к одной базовой модели. Когда базовую модель выводят из эксплуатации, приходится обучать заново. В руководстве OpenAI теперь сказано, что компания сворачивает платформу дообучения: новым пользователям она закрыта, а дообученные модели обслуживаются, пока не отключат их базовые модели.
- Сначала измерения. Соберите eval до обучения, иначе вы не поймёте, стала ли дообученная модель лучше.
Дообучение плохо подходит для добавления меняющихся фактов. Поиск (retrieval) поддерживает их актуальными.
В BroadNet Inference
Справочник API BroadNet не описывает API дообучения, задачи обучения или загрузку собственных весов. Зато в нём сказано, что “our Arabic fine-tunes and other models on request” (перевод: «наши дообученные арабские модели и другие модели по запросу») доступны через приватный ID модели, который выдаётся вместе с эндпоинтом. BroadNet указывает одну такую модель по запросу: дообученную версию Cohere Transcribe Arabic для чисел, дат и имён в зашумлённом аудио. О публичной модели распознавания арабской речи читайте в руководстве по распознаванию арабской речи. Если вам нужно обучать собственную модель, обычно начинают с модели с открытыми весами; компромиссы разобраны в статье открытые и закрытые модели.