Gêmeos pode usar o contexto para saber quando deve olhar para sua tela

Não é ótimo quando o Google consegue usar o contexto para reconhecer o que estávamos tentando fazer e ajuda? Talvez você estivesse prestes a enviar um e-mail mencionando um anexo, mas nunca selecionou nenhum arquivo. O Gmail tem o prazer de evitar esse constrangimento, oferecendo um lembrete útil. Há alguns meses, vimos o Gemini trabalhando em um truque semelhante e agora ele está começando a entrar em testes públicos.

Assim como o Gmail, o Gemini lida com todos os tipos de anexos – talvez você queira editar uma imagem ou fazer uma pergunta sobre um vídeo. Isso se estende a capturas de tela do que você está trabalhando ativamente e, para agilizar esse suporte, a Gemini introduziu o botão “Perguntar sobre a tela”.

Até agora, está tudo muito bem. Mas, em setembro, identificamos trabalhos iniciais em uma nova opção de “Contexto da tela” que nem exigiria que você apertasse aquele botão e dissesse explicitamente ao Gemini para começar a olhar para sua tela. Em vez disso, o sistema tentaria reconhecer quando você estava perguntando ao Gemini sobre algo em sua tela e, em seguida, tiraria automaticamente uma captura de tela para analisar – nenhuma interação adicional de sua parte seria necessária.

Esta semana, finalmente começamos a ver o acesso a essa ferramenta sendo implementado, e ela começou a aparecer em alguns de nossos dispositivos (Obrigado: Diego).

Quando chegar para você pela primeira vez, você verá aquela mensagem introdutória à esquerda. Assim como vimos quando abordamos inicialmente o trabalho nesse recurso, o Google oferece a capacidade de desativá-lo se você tiver preocupações com privacidade.

Deixe-o ativado e você poderá começar imediatamente a perguntar sobre sua tela e deixar o Gemini capturar todas as capturas de tela que precisar processar. Se você também obteve acesso, experimente e conte-nos se funcionou bem para você nos comentários. Em nossos testes iniciais, percebemos que estávamos perguntando sobre o conteúdo na tela, mas imaginamos que sua milhagem pode variar significativamente com base em solicitações individuais.