Edgar Cervantes / Autoridade Android
DR
- Um novo relatório sugere que a Amazon está lutando para desenvolver um modelo de linguagem grande (LLM) que possa competir com OpenAI e Google.
- O modelo está configurado para alimentar uma atualização Alexa já anunciada que traz habilidades de conversação para o assistente.
- Conjuntos de dados limitados e a falta de visão paralisaram o progresso, levando à saída de muitos investigadores e cientistas talentosos.
Surgiu um novo relatório que sugere que o Alexa generativo da Amazon, alimentado por IA, não está nem perto de ser concluído e pode nem ver a luz do dia. O relatório, compilado por Fortuna por meio de entrevistas com mais de uma dúzia de ex-funcionários, lista vários obstáculos que a empresa enfrentou ao desenvolver sua IA conversacional. A Amazon demonstrou sua próxima geração Alexa no final do ano passado e prometeu lançar uma prévia limitada nos EUA “em breve”. Oito meses se passaram, porém, sem nenhum sinal da nova Alexa.
De acordo com o relatório, a falta de dados de alta qualidade retardou tremendamente os esforços do modelo de linguagem grande (LLM) da Amazon. A empresa de comércio eletrônico carece de conjuntos de dados extensos, pois não opera um mecanismo de busca como o Google ou redes sociais como o Meta. Como resultado, seu LLM foi treinado em apenas três trilhões de tokens – a menor unidade de dados em um modelo de linguagem. Para efeito de comparação, acredita-se que o modelo GPT-4 da OpenAI tenha sido treinado em 13 trilhões de tokens.
Há rumores de que um modelo em desenvolvimento desde o final de 2023, de codinome Olympus, teria 2 trilhões de parâmetros, ou o dobro do GPT-4. Uma contagem de parâmetros mais alta sinaliza um modelo maior e mais capaz. No entanto, um ex-pesquisador chamou a Olympus de “uma piada”, acrescentando que o atual Alexa LLM tem 100 bilhões de parâmetros. É possível fazer com que um modelo pequeno forneça resultados excelentes – testei recentemente o modelo Llama 3 com 7 bilhões de parâmetros e descobri que ele forneceu respostas equivalentes ao GPT-3.5.
Mas esse não é o único problema que impede os esforços generativos de IA da Amazon, já que os funcionários culpam os executivos seniores da Amazon pela má gestão. Um afirmou,
Parece que a liderança não sabe nada sobre LLMs – eles não sabem de quantas pessoas precisam e qual deve ser o tempo esperado para concluir cada tarefa para construir um produto de sucesso como o ChatGPT.
O concorrente mais próximo da Amazon na corrida do assistente digital foi o Google, mas este último permaneceu competitivo ao se voltar completamente para o Gemini e abandonar completamente a marca Assistant. Hoje, o Gemini pode realizar tarefas do mundo real, como definir lembretes e interagir com dispositivos domésticos inteligentes. A equipe central de LLM da Amazon, por outro lado, supostamente teve dificuldades para fazer esses recursos funcionarem devido a visões divergentes entre várias subequipes.
De acordo com um cientista de aprendizado de máquina, os esforços para ajustar o modelo de linguagem da Amazon para tarefas domésticas inteligentes seriam quase inúteis depois que a equipe Alexa Music terminasse de ajustá-lo para seus objetivos. A empresa supostamente tem uma dúzia de equipes relacionadas ao Alexa, cada uma contendo centenas de funcionários que trabalham com objetivos diferentes, como compras e entretenimento.
Isso pode explicar a disparidade no conjunto de recursos entre o Gemini e o Google Assistant, sendo que este último a empresa planeja aposentar-se completamente em algum momento. O gigante das buscas também não tem sido tão ambicioso quanto a Amazon – não ouvimos nenhuma promessa de trazer a nova IA de conversação para alto-falantes inteligentes.
Um porta-voz da Amazon disse Fortuna que a empresa não vacilou na sua missão de construir o “melhor assistente pessoal do mundo”. Ele também confirmou que o novo Alexa baseado em LLM permanece em desenvolvimento ativo, com testes contínuos dos clientes do recurso “Let’s Chat” demonstrado no final do ano passado. Enquanto isso, ex-funcionários dizem que mesmo que o Alexa renovado seja lançado, ele será significativamente limitado em comparação com outros chatbots de IA, como o ChatGPT.