TL; DR: Alguns programadores queriam ver se podiam treinar uma rede adversária generativa (GAN) para criar sua própria versão do Grand Theft Auto 5. O resultado foi uma viagem de ácido um tanto embaçada, mas imediatamente reconhecível como GTA5.
Harrison Kinsley, que usa Sentdex no YouTube, e seu parceiro treinaram uma ramificação da rede neural GameGAN da Nvidia usando um carro preto em um pequeno trecho da rodovia em Grand Theft Auto 5. A Nvidia emprestou a eles sua estação DGX, que está equipada com quatro A180 cartões de gigabyte para ajudar no processamento. Kinsley explica o que eles fizeram e demonstra os resultados no vídeo acima.
Os modelos iniciais eram muito pixelizados, mas Kinsley melhorou isso com a superamostragem assistida por IA. Embora não seja bonito, é importante ter em mente que esta não é uma filmagem gerada por GAN. É uma demonstração interativa em tempo real. Kinsley está dirigindo um carro criado por IA em um ambiente totalmente criado por IA.
Antes e depois do upsampling.
Kinsley disse que, como a Estação DGX estava emprestada, seu tempo de treinamento era limitado. Embora o modelo tente calcular o recorte de obstáculos em alguns casos, ele gostaria de executar mais amostras de colisão. Kinsley também queria ver quanto do mapa GTA5 o GAN poderia processar. No entanto, isso teria exigido mais horas de treinamento à medida que ele aumentava gradativamente a distância de direção, o que ele não teve tempo de fazer.
O vídeo mostra que a rede neural fez um trabalho bastante decente recriando alguns detalhes inesperados. Por uma questão de eficiência, pode-se pensar que o GAN ignoraria as sombras e o sol refletido no carro. Para a surpresa de Kinsley, isso não aconteceu. Sombras, iluminação e reflexos se movem mais ou menos conforme o esperado. O GAN também criou seu próprio sistema de física elementar depois de treiná-lo ao se chocar contra as coisas. Um exemplo é como outro carro se inclina para a direita quando bate no painel traseiro esquerdo. Colisões frontais também não são tratadas.
Kinsley postou a demo jogável chamada “GAN Theft Auto” no GitHub para aqueles interessados em experimentá-la. Novamente, é apenas uma pequena parte do mapa GTA e não é como jogar um jogo real. É mais uma demonstração de tecnologia do que qualquer outra coisa, mas é interessante observar o que o modelo faz em situações não treinadas. É quando as coisas ficam um pouco psicodélicas.
