Sam Altman disse que a estratégia de pesquisa que deu origem ao ChatGPT está esgotada e os avanços futuros em inteligência artificial exigirão novas ideias. As capacidades impressionantes do ChatGPT, o chatbot da startup OpenAI, desencadearam uma onda de novos interesses e investimentos em inteligência artificial. A OpenAI apresentou uma série de avanços impressionantes em IA que trabalha com linguagem nos últimos anos, pegando os algoritmos de aprendizado de máquina existentes e ampliando-os para um tamanho inimaginável.
Mas o CEO da empresa, Sam Altman, diz que o progresso não virá de modelos maiores. “Acho que estamos no fim da era em que serão modelos gigantes”, disse ele a uma plateia em um evento realizado no MIT na semana passada. A declaração de Altman sugere que o GPT-4 pode ser o último grande avanço a emergir da estratégia da OpenAI de tornar os modelos maiores e alimentá-los com mais dados.
No artigo que descreve o GPT-4, a OpenAI diz que suas estimativas sugerem retornos decrescentes ao aumentar o tamanho do modelo. Altman disse que também há limites físicos para quantos data centers a empresa pode construir e com que rapidez ela pode construí-los. Ele também acredita que o progresso nos transformadores, o tipo de modelo de aprendizado de máquina no coração do GPT-4 e seus rivais, está além da escala.
“Existem muitas maneiras de tornar os transformadores muito, muito melhores e mais úteis, e muitos deles não envolvem a adição de parâmetros ao modelo”, diz ele. Frosst diz que novos designs de modelos de IA, ou arquiteturas, e ajustes adicionais com base no feedback humano são direções promissoras que muitos pesquisadores já estão explorando.
Cada versão da influente família de algoritmos de linguagem da OpenAI consiste em uma rede neural artificial, software vagamente inspirado na maneira como os neurônios trabalham juntos, que é treinado para prever as palavras que devem seguir uma determinada sequência de texto. Na época, isso era extremamente grande em comparação com os sistemas anteriores, em parte graças à descoberta dos pesquisadores da OpenAI de que a ampliação tornava o modelo mais coerente.
As amplas habilidades desse sistema para gerar poemas, e-mails e outros textos ajudaram a convencer outras empresas e instituições de pesquisa a levar seus próprios modelos de IA a um tamanho semelhante e ainda maior. Depois que o ChatGPT estreou em novembro, criadores de memes e especialistas em tecnologia especularam que o GPT-4, quando chegasse, seria um modelo de tamanho e complexidade vertiginosos.
No entanto, quando a OpenAI finalmente anunciou o novo modelo de inteligência artificial, a empresa não revelou o tamanho dele – talvez porque o tamanho não seja mais o que importa. No evento do MIT, Altman foi questionado se o treinamento GPT-4 custou $ 100 milhões; ele respondeu: “É mais do que isso.” A possibilidade é que ele tenha usado um método chamado aprendizado por reforço com feedback humano, que foi usado para aprimorar o ChatGPT. No MIT na semana passada, Altman confirmou que sua empresa não está desenvolvendo o GPT-5.
