BroadRouter
Começar

Fine-tuning (ajuste fino de LLM)

Atualizado em

Fine-tuning é o processo de continuar treinando um modelo de linguagem pré-treinado com um conjunto de dados menor e específico, como conversas de exemplo, para que seus pesos mudem e ele execute aquela tarefa ou estilo de forma mais confiável, sem instruções longas ou exemplos em todo prompt.

Também chamado de: ajuste fino, ajuste fino de modelos, fine tuning, fine-tuning supervisionado, finetuning, supervised fine-tuning, SFT, model fine-tuning

O prompt diz ao modelo o que fazer a cada vez. O fine-tuning muda o modelo para que ele já saiba.

Como funciona

Você parte de um modelo treinado e continua o treino com os seus exemplos. No supervised fine-tuning (SFT), cada exemplo é uma conversa com a resposta que você quer. O guia da OpenAI usa JSONL, “one complete JSON structure on every line” (tradução: uma estrutura JSON completa em cada linha), no formato de chat:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

O job de treinamento ajusta os pesos para que essas respostas fiquem mais prováveis e devolve um novo ID de modelo. A OpenAI define o mínimo em 10 exemplos e recomenda começar com 50 e avaliar antes de adicionar mais.

O fine-tuning completo atualiza todos os pesos, o que é caro para modelos grandes. O artigo do LoRA, de Hu e colegas, chama de proibitivamente caro implantar cópias separadas do GPT-3 após fine-tuning, “each with 175B parameters” (tradução: cada uma com 175B de parâmetros). Métodos eficientes em parâmetros, como o LoRA, treinam um pequeno complemento no lugar. A destilação é uma ideia próxima: fazer fine-tuning de um modelo pequeno com as saídas de um maior.

Por que isso importa

  • Prompts mais curtos. Um comportamento que exigia um longo prompt few-shot pode ir para os pesos, cortando tokens de entrada por chamada.
  • Consistência. Bons casos são classificação, um estilo de saída fixo, tradução de domínio e correção de falhas em seguir instruções.
  • Manutenção. Um modelo ajustado fica preso a um modelo base. Quando a base é aposentada, você treina de novo. O guia da OpenAI agora diz que está encerrando aos poucos a sua plataforma de fine-tuning, fechada para novos usuários, e que os modelos ajustados continuam no ar até os modelos base serem desligados.
  • Medir primeiro. Monte uma eval antes de treinar, ou você não vai saber se o modelo ajustado ficou melhor.

O fine-tuning é um jeito ruim de adicionar fatos que mudam. A recuperação os mantém atualizados.

Na BroadNet Inference

A referência da API da BroadNet não documenta uma API de fine-tuning, jobs de treinamento ou upload dos seus próprios pesos. Ela diz, porém, que “our Arabic fine-tunes and other models on request” (tradução: nossos fine-tunes para árabe e outros modelos sob consulta) são acessados com um ID de modelo privado emitido junto com o endpoint. A BroadNet lista um desses modelos sob consulta: um fine-tune do Cohere Transcribe Arabic para números, datas e nomes em áudio com ruído. Para o modelo público de transcrição em árabe, veja o guia de speech-to-text em árabe. Se você precisa treinar o seu, o ponto de partida habitual é um modelo open-weight; os trade-offs estão em modelos open-weight vs. fechados.

Perguntas frequentes

Quantos exemplos são necessários para fazer fine-tuning de um LLM?

O guia da OpenAI define um mínimo de 10 e sugere começar com 50 exemplos bem feitos e depois medir. Se 50 bons exemplos não mudam nada, repense a tarefa antes de adicionar mais.

Fine-tuning ou RAG para o conhecimento da empresa?

Normalmente recuperação (RAG). O fine-tuning ensina bem comportamento e formato, mas fatos que mudam são mais fáceis de manter atualizados em documentos recuperados na hora da requisição.

Posso fazer fine-tuning de um modelo na BroadNet Inference?

A documentação da BroadNet não lista uma API de fine-tuning. Ela menciona os fine-tunes próprios da BroadNet para árabe, acessados como endpoints privados sob consulta.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity