Android está prestes a dar outro salto de IA sobre a maçã

Apesar de seus opositores, os recursos da IA ​​continuam sendo a pedra angular da inovação moderna de smartphones. Mas a alimentação das melhores e mais recentes ferramentas de IA requer processadores de maneira rápida e eficiente que estão à altura da tarefa, seja um acelerador de IA dedicado ou uma CPU equipada com instruções especiais para acelerar cargas de trabalho de aprendizado de máquina.

Em uma postagem no blog, o ARM detalhou mais sobre o que esperar de sua extensão escalável da Matrix Extension 2 (SME2) da CPU e provocou que o truque chegará aos futuros smartphones Android sempre que derrubar suas CPUs móveis de última geração. Com base em anúncios anteriores, isso provavelmente acontecerá nos próximos meses e será renomeado sob a Lumex, e não a marca antiga do córtex.

Para uma rápida visão geral, a PME, originalmente parte da arquitetura ARMV9, é um conjunto de extensões de arquitetura de CPU opcionais e avançadas, projetadas explicitamente para acelerar as operações matemáticas da matriz – o tipo de multiplicação complexa na qual os algoritmos de aprendizado de máquina dependem. O SME2, ​​que realmente estreou no final de 2022, se baseia nesses recursos, que, de acordo com o ARM, permitem tarefas de inferência móvel em tempo real, desde o processamento de imagem e linguagem natural até geração de voz.

O ARM também compartilha alguns números, o que certamente faz o SME2 parecer o negócio real. De acordo com o ARM, o modelo Gemma 3 do Google oferece 6X respostas mais rápidas de IA com hardware aprimorado pelo SME2 do que sem. Ele pode executar um resumo de texto de 800 palavras em menos de um segundo em apenas um único núcleo da CPU, embora não esteja claro a qual braço da CPU se refere aqui.

Tudo isso parece super promissor para o resumo futuro de texto e os recursos de resposta inteligente, que podem parecer muito mais receptivos do que as implementações de hoje. De qualquer forma, a parte principal do anúncio para os consumidores é a confirmação de que os recursos de hardware do SME2 estão “chegando em breve” aos smartphones Android.

Até agora, as PME foram reservadas principalmente para processadores de classe de servidor e estação de trabalho devido à sua natureza exigente. No entanto, o SME2 foi projetado para ser mais escalável, permitindo a implantação em camadas de baixa potência, como laptops, tablets e smartphones de ponta. Embora os chipsets Android tenham ignorado principalmente a geração original de PME, o chip M4 da Apple – atualmente usado em iPads – é o dispositivo móvel mais próximo com suporte ao SME2. Dito isto, a Apple ainda não trouxe esse recurso à sua linha de iPhone. Isso abre a porta para os dispositivos Android de próxima geração para obter uma vantagem significativa de desempenho de IA sobre seus concorrentes.

É importante ressaltar que o Android já está configurado para suporte ao SME2. O SME2 está ativado na biblioteca XNNPack do Google para Android e é suportado em várias estruturas como llama.cpp, MNN da Alibaba e Onnx da Microsoft. Da mesma forma, os desenvolvedores que já usam a biblioteca de software Kleidiai da ARM (que se integra a essas estruturas) aproveitarão automaticamente o hardware SME2 quando estiver disponível em smartphones Android, mantendo a compatibilidade com antecedência com extensões de PME e neon. Isso é um grande polegar para fácil adoção.

Para ser justo, já sabíamos que a PME estava chegando a futuras cpus móveis, cortesia de Chris Bergey, da Arm, na Computex. Um slide de apresentação revelou que a CPU Travis de próxima geração da GEN apresentará SME (presumivelmente SME2, ​​com base neste último anúncio). Há rumores de que este núcleo alimentará o Mediatek Dimensity 9500 e potencialmente outros SoCs móveis de próxima geração, como a linha Exynos da Samsung. O tensor do Google geralmente fica várias gerações para trás, mas pode adotar as capacidades de PME da ARM até o tensor G6 de 2026.

No entanto, com a Qualcomm agora seguindo a rota CPU personalizada, o próximo Snapdragon 8 Elite 2 pode não compartilhar as mesmas credenciais, o que significa que uma grande parte dos flagships do Android da próxima geração não vai pular para o SME2 imediatamente. De acordo com os primeiros rumores, o 8 Elite 2 suportará extensões SME1 e SVE2, que ainda serão uma atualização notável na configuração atual, mas não apresentará os mesmos recursos do SME2 que os núcleos Lumex internos da ARM. Ainda não se sabe se a Apple Silicon alcançará sua própria implementação de PME na próxima geração. É possível, pois os chips A18 já estão no ARMV9.2, mas precisará trazer o hardware SME2 adotado do M4 para seus núcleos de CPU de telefone personalizado.

De qualquer forma, o aprendizado de máquina mais rápido em execução na CPU do seu smartphone é um grande negócio. Melhor desempenho para uma variedade de tarefas, como resumo de texto, tradução no dispositivo e reconhecimento de imagem, é o benefício óbvio para os usuários finais, mas também é um movimento positivo para o ecossistema de desenvolvimento da IA ​​como um todo. Apesar da disponibilidade do Android NN, a codificação especificamente para o hardware de aprendizado de máquina sob medida do SoC continua sendo uma tarefa para desenvolvedores menores, com maior probabilidade de recorrer à corrida na CPU para atingir o maior número possível de dispositivos.

Os aparelhos com instruções mais poderosas disponíveis diretamente na CPU serão um benefício para esses casos de uso. Se isso acaba sendo o caso, é outra grande vitória para os smartphones Android da próxima geração, enquanto seu maior rival, Apple, já permanece preso nos blocos de partida da IA.