Robert Triggs / Autoridade Android
DR
- Um recente artigo de pesquisa da Apple detalhou sua solução para trazer IA generativa no dispositivo para iPhones.
- A abordagem reduz a necessidade de muita RAM, sugerindo que esta solução poderia permitir IA no dispositivo em iPhones mais antigos.
Esperamos que muitos dos principais telefones Android ofereçam recursos de IA generativa no dispositivo em 2024, mas a Apple tem estado bastante quieta a esse respeito. Agora, um novo artigo de pesquisa publicado pela empresa revelou como a empresa poderia fazer com que a IA funcionasse localmente em seus iPhones.
Os tempos financeiros localizou um artigo de pesquisa da Apple que detalha uma solução para executar modelos de linguagem grandes (LLMs) em dispositivos com RAM limitada. O artigo revela como a Apple poderia manter os “parâmetros do modelo” armazenados e trazer partes deles para a RAM do dispositivo conforme necessário, em vez de carregar o modelo inteiro na RAM.
“Esses métodos permitem coletivamente a execução de modelos com até o dobro do tamanho da DRAM disponível, com um aumento de 4-5x e 20-25x na velocidade de inferência em comparação com abordagens de carregamento ingênuas em CPU e GPU, respectivamente”, diz um trecho do artigo.
Um caminho para iPhones antigos obterem IA no dispositivo?
A IA generativa no dispositivo se beneficia de ter bastante RAM, pois oferece velocidades de leitura/gravação mais rápidas do que o armazenamento usado em telefones premium. Velocidades rápidas são fundamentais para a IA no dispositivo, permitindo tempos de inferência muito mais rápidos, já que os usuários não precisam necessariamente esperar dezenas de segundos (ou mais) para obter uma resposta ou resultado final. Tudo isso significa um assistente de IA no dispositivo que pode funcionar em velocidades de conversação, geração de imagens/texto muito mais rápida, resumos de artigos mais rápidos e muito mais. Mas a solução da Apple significa que você não precisa necessariamente de muita RAM para uma IA responsiva no dispositivo.
A abordagem da Apple poderia permitir que iPhones novos e antigos oferecessem recursos de IA generativos no dispositivo, já que os aparelhos da Apple geralmente oferecem menos RAM do que muitos telefones Android premium. Por exemplo, a série iPhone 11 oferece apenas 4 GB de RAM, enquanto até o iPhone 15 vanilla oferece 6 GB de RAM.
A Apple não é o único player móvel trabalhando para reduzir a área ocupada pelos LLMs. Os recentes processadores principais da Qualcomm e da MediaTek suportam a precisão INT4 para reduzir esses modelos. De qualquer forma, temos certeza de que a indústria continuará a encontrar novas maneiras de reduzir os requisitos de sistema para IA no dispositivo, permitindo potencialmente que até mesmo telefones de baixo custo ofereçam esses recursos.
