Take do editor: Apesar de ter sido aclamada como o próximo passo na evolução da inteligência artificial, grandes modelos de linguagem não são mais inteligentes que um pedaço de madeira podre. De vez em quando, algum experimento ou teste estranho lembra a todos que a chamada IA ”inteligente” não existe se você estiver morando fora do relatório trimestral de uma empresa de tecnologia.
Uma emulação de exato de ciclo da CPU Atari 2600 em uma escassa 1,19 MHz é mais do que suficiente para humilhar o ChatGPT em um jogo de xadrez. O engenheiro da Citrix, Robert Jr. Caruso, conduziu o pequeno experimento “engraçado” no fim de semana, colocando o poderoso chatbot do Openai contra um console virtual Atari 2600 emulado por Stella. Não terminou bem para o chatbot.
Caruso teria a idéia do próprio Chatgpt, depois de conversar com o bot sobre a história da IA e do xadrez. O serviço do Openai se ofereceu para jogar “Atari Chess”, que Caruso assumiu referiu ao vídeo – o único título de xadrez já lançado para o Atari 2600.
Apesar de ter recebido um layout básico do conselho para identificar as peças, o Chatgpt lutou. O bot confundiu Rooks for Bishops, perdia os grãos óbvios de peão e fez uma série de erros desconcertantes, de acordo com Caruso. A certa altura, o chatgpt até culpou fatores externos, como os símbolos abstratos usados pelo xadrez de vídeo para representar as peças por sua incapacidade de acompanhar o estado do jogo.
“Por 90 minutos, tive que impedir que ele faça movimentos terríveis e corrigisse sua conscientização da placa várias vezes por turno”, disse o engenheiro sobre o desempenho do ChatGPT contra um console da CPU emulado dos anos 70.
O bot aparentemente continuou pedindo para reiniciar o jogo na esperança de melhorar seu desempenho, mas foi derrotado por um motor de xadrez de 8 bits. Uma CPU de 1 MHz deve, na melhor das hipóteses, poder pensar em um ou dois movimentos à frente, enquanto o Chatgpt depende de um exército sem fim de GPUs modernas e sedentos de poder para manter seu serviço de bate-papo em funcionamento. E, no entanto, a CPU de 1 MHz venceu, batendo o chatbot no nível iniciante.
O experimento de Caruso é um lembrete útil sobre o que os modelos LLM realmente são: um mecanismo de busca de caixa preto complexo e baseado em heurísticas, projetado para agradar constantemente o usuário final com algum tipo de resultado cativante. Eles não “sabem” nada, não têm recursos de raciocínio ou dedução, e certamente não têm inteligência por conta própria. E eles são absolutamente péssimos com xadrez.
Eu nunca possuía um Atari 2600 naquela época, embora passei algumas tardes gloriosas com meu poderoso console de intellivision. Da próxima vez, tentarei humilde Chatgpt, fazendo com que ele jogue uma rodada de xadrez de batalha em uma réplica emulada da minha primeira máquina X86: um 80286 em uma escala de 16 MHz.
