Agora você pode treinar ChatGPT em seus próprios documentos via API

Aug 28, 2023

Benj Edwards - 23 de agosto de 2023 20h16 UTC

Na terça-feira, a OpenAI anunciou o ajuste fino do GPT-3.5 Turbo – o modelo de IA que alimenta a versão gratuita do ChatGPT – por meio de sua API. Permite treinar o modelo com dados customizados, como documentos da empresa ou documentação do projeto. A OpenAI afirma que um modelo ajustado pode funcionar tão bem quanto o GPT-4 com custo mais baixo em determinados cenários.

Na IA, o ajuste fino refere-se ao processo de pegar uma rede neural pré-treinada (como GPT-3.5 Turbo) e treiná-la ainda mais em um conjunto de dados diferente (como seus dados personalizados), que normalmente é menor e possivelmente relacionado a uma tarefa específica. Este processo baseia-se no conhecimento do modelo adquirido durante a fase inicial de treinamento e o refina para uma aplicação específica.

Basicamente, o ajuste fino ensina o GPT-3.5 Turbo sobre conteúdo personalizado, como documentação do projeto ou qualquer outra referência escrita. Isso pode ser útil se você deseja construir um assistente de IA baseado em GPT-3.5 que esteja intimamente familiarizado com seu produto ou serviço, mas não tenha conhecimento dele em seus dados de treinamento (que, como lembrete, foram retirados da web antes de setembro 2021).

“Desde o lançamento do GPT-3.5 Turbo, desenvolvedores e empresas têm solicitado a capacidade de customizar o modelo para criar experiências únicas e diferenciadas para seus usuários”, escreve OpenAI em seu blog promocional. “Com este lançamento, os desenvolvedores agora podem executar ajustes supervisionados para melhorar o desempenho deste modelo em seus casos de uso.”

Embora o GPT-4, o primo mais poderoso do GPT-3.5, seja conhecido como um generalista adaptável a muitos assuntos, é mais lento e mais caro de operar. A OpenAI está lançando o ajuste fino 3.5 como uma forma de obter desempenho semelhante ao GPT-4 em um domínio de conhecimento específico a um custo menor e tempo de execução mais rápido. “Os primeiros testes mostraram que uma versão aprimorada do GPT-3.5 Turbo pode igualar, ou até mesmo superar, os recursos básicos do nível GPT-4 em certas tarefas restritas”, escrevem eles.

Além disso, a OpenAI afirma que modelos ajustados fornecem “melhor capacidade de direção”, o que significa seguir melhor as instruções; “formatação de saída confiável”, que melhora a capacidade do modelo de gerar texto de forma consistente em um formato como chamadas de API ou JSON; e “tom personalizado”, que pode incorporar um sabor ou personalidade personalizada a um chatbot.

A OpenAI afirma que o ajuste fino permite que os usuários encurtem seus prompts e possam economizar dinheiro em chamadas de API OpenAI, que são cobradas por token. “Os primeiros testadores reduziram o tamanho do prompt em até 90% ajustando as instruções no próprio modelo”, diz OpenAI. No momento, o comprimento do contexto para ajuste fino está definido em 4.000 tokens, mas a OpenAI diz que o ajuste fino se estenderá ao modelo de 16.000 tokens “mais tarde neste outono”.

Agora, você deve estar se perguntando como funciona o uso de seus próprios dados para treinar o GPT-3.5 - e quanto custa. A OpenAI apresenta um processo simplificado em seu blog que mostra a configuração de um prompt do sistema com a API, o upload de arquivos para o OpenAI para treinamento e a criação de um trabalho de ajuste fino usando a ferramenta de linha de comando curl para consultar um endereço da web da API. Assim que o processo de ajuste for concluído, a OpenAI afirma que o modelo personalizado estará disponível para uso imediato com os mesmos limites de taxa do modelo básico. Mais detalhes podem ser encontrados na documentação oficial da OpenAI.

Tudo isso tem um preço, é claro, e é dividido em custos de treinamento e custos de uso. Treinar o GPT-3.5 custa US$ 0,008 por 1.000 tokens. Durante a fase de uso, o acesso à API custa US$ 0,012 por 1.000 tokens para entrada de texto e US$ 0,016 por 1.000 tokens para saída de texto.

Em comparação, o modelo básico 4k GPT-3.5 Turbo custa US$ 0,0015 por entrada de 1.000 tokens e US$ 0,002 por saída de 1.000 tokens, portanto, o modelo ajustado é cerca de oito vezes mais caro para operar. E embora o modelo de contexto 8K do GPT-4 também seja mais barato, custando US$ 0,03 por entrada de 1.000 tokens e US$ 0,06 por saída de 1.000 tokens, a OpenAI ainda afirma que o dinheiro pode ser economizado devido à necessidade reduzida de avisos no modelo ajustado. É um exagero, mas em casos restritos, pode ser aplicado.