Num impressionante ato de autocrítica, um dos arquitetos da tecnologia de transformadores que alimenta Bate-papoGPT, Cláudioe praticamente todos os principais sistemas de IA disseram a uma audiência de líderes da indústria esta semana que a pesquisa em inteligência artificial se tornou perigosamente restrita – e que ele está abandonando sua própria criação.
Lion Jonesque foi coautor do artigo seminal de 2017 "Atenção é tudo que você precisa" e até cunhou o nome "transformador," fez uma avaliação invulgarmente sincera no Conferência TED sobre IA em São Francisco na terça-feira: Apesar investimento sem precedentes e a inundação de talentos na IA, o campo calcificou-se em torno de uma única abordagem arquitetónica, potencialmente cegando os investigadores para o próximo grande avanço.
"Apesar do fato de nunca ter havido tanto interesse, recursos, dinheiro e talento, isso de alguma forma causou o estreitamento da pesquisa que estamos fazendo," Jones disse ao público. O culpado, argumentou ele, é o "imensa quantidade de pressão" desde investidores que exigem retornos até pesquisadores que lutam para se destacar em um campo superlotado.
O aviso tem um peso especial dado o papel de Jones na história da IA. O arquitetura do transformador que ele ajudou a desenvolver no Google tornou-se a base do boom generativo da IA, possibilitando sistemas que podem escrever ensaios, gerar imagens e participar de conversas semelhantes às humanas. Seu papel foi citado mais de 100.000 vezestornando-se uma das publicações de ciência da computação mais influentes do século.
Agora, como CTO e cofundador da empresa com sede em Tóquio SamanJones está abandonando explicitamente sua própria criação. "Pessoalmente, tomei a decisão no início deste ano de reduzir drasticamente a quantidade de tempo gasto em transformadores," ele disse. "Agora estou explicitamente explorando e procurando a próxima grande novidade."
Por que mais financiamento para IA levou a pesquisas menos criativas, de acordo com um pioneiro em transformadores
Jones pintou o quadro de uma comunidade de pesquisa em IA sofrendo com o que chamou de paradoxo: mais recursos levaram a menos criatividade. Ele descreveu pesquisadores verificando constantemente se estavam "escavado" por concorrentes que trabalham em ideias idênticas e por acadêmicos que escolhem projetos seguros e publicáveis em vez de projetos arriscados e potencialmente transformadores.
"Se você está fazendo pesquisas padrão sobre IA agora, você tem que assumir que talvez haja três ou quatro outros grupos fazendo algo muito semelhante, ou talvez exatamente o mesmo," Jones disse, descrevendo um ambiente onde "infelizmente, essa pressão prejudica a ciência, porque as pessoas estão apressando os trabalhos e isso está reduzindo a quantidade de criatividade."
Ele fez uma analogia com a própria IA – o "exploração versus exploração" trade-off que governa como os algoritmos buscam soluções. Quando um sistema explora demais e explora pouco, ele encontra soluções locais medíocres e perde alternativas superiores. "É quase certo que estamos nessa situação agora na indústria de IA," Jones argumentou.
As implicações são preocupantes. Jones relembrou o período imediatamente anterior ao surgimento dos transformadores, quando os pesquisadores ajustavam incessantemente as redes neurais recorrentes – a arquitetura dominante anterior – para obter ganhos incrementais. Assim que os transformadores chegaram, todo aquele trabalho de repente pareceu irrelevante. "Quanto tempo você acha que esses pesquisadores teriam gasto tentando melhorar a rede neural recorrente se soubessem que algo como transformadores estava chegando?" ele perguntou.
Ele teme que o campo esteja repetindo esse padrão. "Estou preocupado que estejamos nessa situação agora, onde estamos apenas nos concentrando em uma arquitetura e apenas permutando-a e tentando coisas diferentes, onde pode haver um avanço ao virar da esquina."
Como o jornal ‘Atenção é tudo que você precisa’ nasceu da liberdade, não da pressão
Para sublinhar o seu ponto de vista, Jones descreveu as condições que permitiram o surgimento dos transformadores – um forte contraste com o ambiente actual. O projeto, segundo ele, foi "muito orgânico, de baixo para cima," nascido de "conversando durante o almoço ou rabiscando aleatoriamente no quadro branco do escritório."
Criticamente, "na verdade, não tínhamos uma boa ideia, tínhamos a liberdade de realmente gastar tempo e trabalhar nisso e, mais importante ainda, não tínhamos nenhuma pressão vinda da administração," Jones contou. "Sem pressão para trabalhar em qualquer projeto específico, publique uma série de artigos para aumentar uma determinada métrica."
Essa liberdade, sugeriu Jones, está praticamente ausente hoje. Até mesmo pesquisadores recrutados por salários astronômicos — "literalmente um milhão de dólares por ano, em alguns casos" – podem não se sentir capacitados para assumir riscos. "Você acha que quando eles iniciam seu novo cargo eles se sentem capacitados para testar suas ideias malucas e ideias mais especulativas, ou eles sentem uma pressão imensa para provar seu valor e, mais uma vez, buscar os frutos mais fáceis de alcançar?" ele perguntou.
Por que um laboratório de IA aposta que a liberdade de pesquisa supera os salários de milhões de dólares
A solução proposta por Jones é deliberadamente provocativa: aumente o "explorar dial" e compartilhar abertamente as descobertas, mesmo a custos competitivos. Ele reconheceu a ironia de sua posição. "Pode parecer um pouco controverso ouvir um dos autores dos Transformers subir no palco e dizer que está absolutamente farto deles, mas é bastante justo, certo? Tenho trabalhado neles há mais tempo do que ninguém, com a possível exceção de sete pessoas."
No SamanJones disse que está tentando recriar aquele ambiente pré-transformador, com pesquisas inspiradas na natureza e pressão mínima para perseguir publicações ou competir diretamente com rivais. Ele ofereceu aos pesquisadores um mantra do engenheiro Brian Cheung: "Você só deve fazer pesquisas que não aconteceriam se você não estivesse fazendo isso."
Um exemplo é o de Sakana "máquina de pensamento contínuo," que incorpora sincronização semelhante à do cérebro em redes neurais. Um funcionário que apresentou a ideia disse a Jones que teria enfrentado ceticismo e pressão para não perder tempo em empregadores anteriores ou em cargos acadêmicos. Em Sakana, Jones deu-lhe uma semana para explorar. O projeto teve sucesso suficiente para ser destacado em NeuroIPSuma importante conferência de IA.
Jones chegou a sugerir que a liberdade é melhor que a compensação no recrutamento. "É uma maneira muito, muito boa de conseguir talentos," ele disse sobre o ambiente exploratório. "Pense bem, pessoas talentosas, inteligentes, ambiciosas, buscarão naturalmente esse tipo de ambiente."
O sucesso do transformador pode estar bloqueando o próximo avanço da IA
Talvez de forma mais provocativa, Jones sugeriu que os transformadores podem ser vítimas do seu próprio sucesso. "O facto da tecnologia actual ser tão poderosa e flexível… impediu-nos de procurar algo melhor," ele disse. "Faz sentido que se a tecnologia atual fosse pior, mais pessoas procurariam algo melhor."
Ele teve o cuidado de esclarecer que não está descartando a pesquisa em andamento sobre transformadores. "Ainda há muito trabalho muito importante a ser feito na tecnologia atual e que trará muito valor nos próximos anos," ele disse. "Só estou dizendo que, dada a quantidade de talentos e recursos que temos atualmente, podemos nos dar ao luxo de fazer muito mais."
Sua mensagem final foi de colaboração em vez de competição. "Na verdade, do meu ponto de vista, isto não é uma competição," concluiu Jones. "Todos nós temos o mesmo objetivo. Todos nós queremos ver o progresso desta tecnologia para que todos possamos nos beneficiar dela. Portanto, se todos pudermos, coletivamente, aumentar o dial de exploração e depois compartilhar abertamente o que encontramos, poderemos atingir nosso objetivo muito mais rápido."
Os altos riscos do problema de exploração da IA
As observações chegam num momento crucial para a inteligência artificial. A indústria enfrenta cada vez mais evidências de que a simples construção de modelos de transformadores maiores pode estar se aproximando de retornos decrescentes. Os principais investigadores começaram a discutir abertamente se o paradigma atual tem limitações fundamentais, com alguns sugerindo que serão necessárias inovações arquitetónicas – e não apenas de escala – para o progresso contínuo em direção a sistemas de IA mais capazes.
O alerta de Jones sugere que encontrar essas inovações pode exigir o desmantelamento das próprias estruturas de incentivos que impulsionaram o recente boom da IA. Com dezenas de bilhões de dólares fluindo anualmente para o desenvolvimento de IA e a competição acirrada entre laboratórios que geram sigilo e ciclos rápidos de publicação, o ambiente de pesquisa exploratória que ele descreveu parece cada vez mais distante.
No entanto, a sua perspectiva interna tem um peso incomum. Como alguém que ajudou a criar a tecnologia que hoje domina o campo, Jones entende o que é necessário para alcançar uma inovação revolucionária e o que a indústria arrisca ao abandonar essa abordagem. A sua decisão de se afastar dos transformadores – a arquitectura que fez a sua reputação – acrescenta credibilidade a uma mensagem que de outra forma poderia soar como um posicionamento contrário.
Ainda não se sabe se os atores poderosos da IA atenderão ao chamado. Mas Jones ofereceu um lembrete claro do que está em jogo: o próximo avanço em escala de transformador pode estar ao virar da esquina, perseguido por pesquisadores com liberdade para explorar. Ou poderia estar definhando inexplorado enquanto milhares de pesquisadores correm para publicar melhorias incrementais na arquitetura que, nas palavras de Jones, um de seus criadores é "absolutamente cansado."
Afinal, ele trabalha em transformadores há mais tempo do que qualquer pessoa. Ele saberia quando é hora de seguir em frente.
