O Android 16 pode dar ao Gemini um novo poder sobre seus aplicativos

O Google está dando tudo o que pode para tornar seu chatbot Gemini e seu modelo de linguagem grande mais bem-sucedidos, incluindo integrá-los em todo o seu conjunto de produtos. No Android, o Gemini se tornou o serviço de assistente padrão em muitos dispositivos, e o número de coisas que ele pode fazer continua a crescer a cada atualização. Embora o Gemini possa interagir com alguns serviços externos, sua capacidade de controlar aplicativos Android é muito limitada no momento. No entanto, isso pode mudar muito com o lançamento do Android 16 no próximo ano, que deverá incluir uma nova API que permite que serviços como o Gemini executem ações em nome dos usuários dentro dos aplicativos.

As extensões Gemini são a forma como o chatbot do Google interage atualmente com serviços externos. As extensões dão ao Gemini acesso a serviços da web como Google Flights, Google Hotels, OpenStax e muito mais, permitindo que ele extraia dados desses serviços quando você faz perguntas relevantes. Também existem extensões para itens como Google Maps, Google Home, YouTube e Google Workspace, todos disponíveis como aplicativos no Android. No entanto, essas extensões permitem que o chatbot use os dados da sua conta ao chamar as APIs de back-end para esses serviços, em vez de controlar diretamente os respectivos aplicativos Android. Finalmente, existem algumas extensões como Utilities que permitem que o Gemini controle diretamente os aplicativos Android, mas apenas permitem que o chatbot execute ações básicas usando intenções bem definidas.

O problema com as extensões Gemini é que elas não são escalonáveis. Existem muitos aplicativos Android para os quais o Google pode criar extensões, sem mencionar o fato de que muitos aplicativos não fornecem APIs públicas que o Gemini possa acessar. Usando uma combinação de tecnologias como leitura de tela, IA multimodal e entrada de acessibilidade, o Gemini poderia, teoricamente, permitir que os usuários controlassem qualquer aplicativo Android por meio de linguagem natural, mas os resultados provavelmente não seriam muito bons devido à falta de contexto. Uma solução melhor é o Google fornecer uma API que permite que os aplicativos funcionem diretamente com o Gemini para executar determinadas funcionalidades do aplicativo, que é exatamente o que o Google parece estar fazendo no Android 16.

Quando o Google lançou o Android 16 DP1 no início desta semana, identificamos um conjunto misterioso de novas APIs nos documentos para desenvolvedores do Google relacionadas a um novo recurso chamado “funções de aplicativo”. De acordo com a documentação do Google, uma função de aplicativo “é uma funcionalidade específica que um aplicativo oferece ao sistema”. Essas funcionalidades podem ser “integradas a vários recursos do sistema”.

A descrição das funções do aplicativo pelo Google é vaga, provavelmente intencionalmente, mas, felizmente, a descrição de um dos novos métodos oferece um exemplo de função de aplicativo. A descrição do método fala sobre como os identificadores de função devem ser exclusivos dentro dos aplicativos e que, “por exemplo, uma função para pedir comida poderia ser identificada como ‘orderFood’”. Assim, por exemplo, um aplicativo de restaurante poderia implementar uma função de aplicativo para pedir comida ou um aplicativo de hotel pode implementar uma função de aplicativo para reservar um quarto.

Os detalhes são limitados, mas parece que os aplicativos criam funções definindo um serviço que só pode ser vinculado por um processo do sistema. Essas funções do aplicativo são expostas à estrutura App Search do Android, que é a estrutura que alimenta a experiência de pesquisa universal no Pixel Launcher, entre outras coisas. As funções do aplicativo podem ser executadas por aplicativos que possuem o EXECUTE_APP_FUNCTIONS ou o EXECUTE_APP_FUNCTIONS_TRUSTED permissão no Android 16.

Embora ambas as permissões só possam ser concedidas a aplicativos do sistema, a primeira atualmente só é concedida a aplicativos do sistema que possuem o ASSISTANT função (ou seja, o Google app), enquanto o último atualmente só é concedido a aplicativos do sistema que possuem o SYSTEM_UI_INTELLIGENCE função (ou seja, Inteligência do Sistema Android). Ambas as permissões permitem que os aplicativos “realizem ações em nome dos usuários dentro dos aplicativos”, mas “aplicativos que contribuem com funções de aplicativo podem optar por proibir chamadores com” EXECUTE_APP_FUNCTIONS permissão, em vez disso, permitindo apenas chamadores com o EXECUTE_APP_FUNCTIONS_TRUSTED permissão para executá-los.

Embora faltem muitos detalhes, parece-me que o novo recurso de funções de aplicativos do Android 16 permitirá que o Gemini controle os aplicativos de uma forma que o Google Assistant nunca conseguiu fazer. Em 2019, o Google provocou como seu “novo Google Assistant” poderia orquestrar tarefas entre aplicativos. Você pode usar sua voz para realizar multitarefas em aplicativos e realizar ações complexas, como responder a uma mensagem de texto recebida por voz e, em seguida, enviar uma foto.

O que o Google revelou em 2019 parecia muito com o que os agentes de IA prometem fazer hoje, e dado tudo o que o Google tem trabalhado no ano passado, não deveria ser chocante ouvir o Google revisitar essa ideia. Esperançosamente, as funções do aplicativo no Android 16 permitem que o Gemini se torne um verdadeiro agente de IA para o seu telefone Android, mas pelo que podemos ver, isso dependerá se os desenvolvedores de aplicativos aderirem ou não à ideia.