Mishaal Rahman / Autoridade Android
DR
- O modelo Gemini Nano do Google poderá em breve fornecer resumos de artigos no dispositivo.
- Gemini Nano é a versão otimizada para dispositivos móveis do modelo de linguagem grande do Google Gemini.
- As séries Pixel 8 Pro e Galaxy S24 têm acesso ao Gemini Nano e ele possibilita resumos no aplicativo gravador do Pixel.
As grandes empresas de tecnologia estão correndo para criar as melhores ferramentas generativas de IA para usuários, desenvolvedores e outras empresas. O Google, por exemplo, oferece Gemini, que é tanto a marca de seu chatbot de IA quanto o modelo de linguagem grande (LLM) subjacente que o alimenta. O Gemini LLM vem em três tamanhos de modelo: Nano, Pro e Ultra. Apenas o modelo Nano é pequeno o suficiente para rodar localmente em dispositivos Android de última geração, como o Pixel 8 Pro e a série Galaxy S24, enquanto os outros dois modelos rodam em servidores em nuvem do Google. O tamanho pequeno do Nano em comparação com Pro e Ultra significa que suas capacidades são limitadas, mas novas evidências sugerem que este modelo pode ganhar outro recurso interessante.
Gemini Nano só é realmente útil para analisar ou criar pequenos blocos de texto. Por exemplo, o modelo Nano atualmente alimenta apenas três recursos de IA no Pixel 8 Pro: resumos de IA de gravações curtas no aplicativo Pixel Recorder, respostas inteligentes de IA do Gboard ao conversar no WhatsApp e sugestões de reescrita de mensagens de IA no aplicativo Mensagens do Google. O modelo Gemini Nano do Google também potencializa vários recursos Galaxy AI que estão disponíveis na série Galaxy S24, como Magic Compose.
Como os aplicativos podem aproveitar o Gemini Nano por meio de uma API, é fácil adicionar novos recursos de IA que dependem dele. Na verdade, as evidências vistas por Autoridade Android sugere que o Gemini Nano poderá em breve permitir resumos de artigos baseados em IA. Em agosto, o Google adicionou um novo recurso ao seu pacote experimental Search Generative Experience (SGE) que pode gerar pontos-chave para qualquer página da web que você abriu no Google app. Este recurso está disponível em qualquer dispositivo Android, desde que o usuário alterne “SGE durante a navegação” no menu Search Labs do Google app.
Mishaal Rahman / Autoridade Android
Resumos de artigos de IA no Google app. Créditos: Mishaal Rahman
Atualmente, esse recurso de resumo de artigos de IA é executado na nuvem, e é por isso que está disponível em todos os dispositivos. Telefones com suporte para Gemini Nano, como o Pixel 8 Pro e a série Galaxy S24, poderão em breve ser capazes de executar este recurso de resumo de artigo de IA no dispositivo, se entendermos as evidências corretamente. Para entender as evidências, primeiro precisamos explicar brevemente como o Gemini Nano funciona no Android.
Em vez de os aplicativos agruparem o Gemini Nano por conta própria, o novo serviço AICore do Android cuida do download do modelo. Isso reduz os requisitos de armazenamento e também simplifica a distribuição e atualização do modelo. Os aplicativos podem aproveitar o Gemini Nano para inferência no dispositivo usando uma série de APIs fornecidas pelo AI Edge SDK do Google. Uma dessas APIs permite que os aplicativos forneçam um bloco LoRA (adaptação de classificação baixa) para ajustar o modelo Gemini Nano para uma tarefa específica.
Mishaal Rahman / Autoridade Android
Arquitetura do AICore. Fonte: Google.
Como a segurança de IP e IA do aprendizado de máquina é tão importante, o Google usa APIs de download seguro para enviar seu modelo Gemini Nano e blocos de ajuste fino LoRA aos dispositivos. Essas APIs são fornecidas pelos Private Compute Services do Android. Private Compute Services é um aplicativo de código aberto que fornece APIs para baixar modelos de aprendizado de máquina da nuvem. Faz parte do Private Compute Core do Android e foi criado para isolar o aplicativo Android System Intelligence – que é responsável por muitos recursos alimentados por IA – da Internet.
Mishaal Rahman / Autoridade Android
A arquitetura do Private Compute Core do Android. Fonte: Google.
A API que o AICore usa é chamada de Download Protegido. Download protegido é uma API que “permite o download de recursos para o dispositivo com suporte para verificação baseada em log de transparência binária, garantindo que esses sejam os recursos oficiais fornecidos pelo Google”. AICore parece usar a API de download protegido para baixar o modelo Gemini Nano, bem como alguns blocos de ajuste fino LoRA. O aplicativo AICore compreende vários “clientes” da API de download protegido e, recentemente, um novo “cliente AICore” chamado “AI_CORE_CHROME_SUMMARIZATION_OUTPUT” foi adicionado.
Mishaal Rahman / Autoridade Android
Embora o patch que adicionou este cliente “AI_CORE_CHROME_SUMMARIZATION_OUTPUT” não tenha uma descrição que explique sua finalidade, estamos supondo com base no nome e na finalidade da API que o aplicativo AICore em breve baixará um bloco de ajuste fino LoRA que otimiza Gemini Nano para resumos de artigos de IA. Podemos estar errados, embora fizesse muito sentido que o Gemini Nano lidasse com resumos de artigos de IA no dispositivo. Afinal, a maioria dos artigos na web deve ser curta o suficiente para ser processada pelo modelo Gemini Nano. Para referência, o Gemini Nano é capaz de resumir transcrições do Pixel Recorder com até 15 minutos de duração.
Se estivermos certos, esperamos que o Google anuncie esse recurso em breve, já que a lista de recursos de IA no dispositivo que o Gemini Nano gerencia é bastante curta no momento. Como este recurso de resumo de artigo de IA faz parte do Google app, também esperamos que o Google habilite isso na série Galaxy S24 e não apenas no Pixel 8 Pro.