O encontro explícito do adolescente Gemini Live faz com que toda a família seja banida

Manter todos os seus ovos digitais na mesma cesta pode ser uma atitude perigosa. Empresas como a Apple e o Google tornam incrivelmente tentador hospedar toda a nossa vida on-line em seus ecossistemas – quando você tem todas as suas fotos, todos os seus e-mails, todo o rastreamento do seu dispositivo e muito mais, tudo em um só lugar, o tipo de integração estreita que oferece pode ser super conveniente. Mas há uma desvantagem em apostar tudo assim, e se você se encontrar do lado errado dos termos de serviço de uma dessas empresas, poderá rapidamente acabar tendo o acesso à sua conta bloqueado. É isso que uma família no Reino Unido está passando agora, tudo graças ao encontro muito embaraçoso de uma criança com Gêmeos.

Apostar tudo com o Google é muito conveniente, mas também significa que você terá mais a perder se for bloqueado

Os termos de serviço do Google são amplos em cobertura e redigidos de maneira ampla, e não faltam possíveis maneiras pelas quais sua conta pode acabar na mira da empresa. Ainda assim, a maioria de nós consegue jogar com calma e não fazer nada então flagrante a ponto de atrair atenção negativa. Mas há uma maneira muito fácil de apontar os holofotes diretamente para você, rapidamente: crianças.

Qualquer incidente envolvendo crianças tem o potencial de ser incrivelmente delicado, e já ouvimos histórias horríveis no passado de que o Google bloqueou o acesso de pessoas às suas contas após identificarem incorretamente fotos de crianças. Houve um caso particularmente importante em 2021, quando O jornal New York Times compartilhou a história do Google sinalizando as fotos médicas de uma família salvas na nuvem como material de abuso sexual infantil (CSAM) e bloqueando as coisas como consequência.

É sempre perturbador ouvir essas histórias, mas a de hoje é perturbadora em um nível totalmente diferente. PCWorld nos aponta para um relatório postado anonimamente no sub UK Legal Advice do Reddit, onde uma família encontrou todas as cinco contas do Google banidas devido ao fato de seu filho de 14 anos ter feito uma escolha muito tola e muito apropriada para uma marca de 14 anos sobre interagir com um agente de IA.

Basta um erro para arruinar as contas de uma família inteira

A OpenAI pode ter cancelado seus planos para um modo adulto NSFW ChatGPT, mas ainda existem muitos entusiastas de IA muito excitados por aí em busca de um lançamento. E armado com todas as melhores habilidades de tomada de decisão que um garoto de 14 anos pode imaginar, o adolescente desta família aparentemente decidiu ser sexualmente explícito com o Gemini Live – incluindo compartilhar a câmera de seu tablet com o chatbot.

As consequências não foram imediatas, mas não foi preciso esperar que o Google sinalizasse e posteriormente banisse a conta do adolescente – e isso foi apenas o começo. Nos dias seguintes, o Google baniu todas as contas do Google que estavam conectadas ao tablet, incluindo pais e irmãos.

Totalmente excluída de suas vidas digitais, a família tem se esforçado para juntar as peças novamente, tendo que recorrer a soluções nada elegantes, como fazer com que seu banco envie um código de redefinição de conta por correio tradicional físico. Eles alegam que os seus apelos ao Google não resultaram em qualquer restauração do acesso, com a empresa citando a necessidade de proteger as crianças. Entramos em contato com o Google para ver se ele pode compartilhar alguma declaração sobre o assunto.

Encontrar um equilíbrio delicado é mais difícil do que parece

Há um todo, todo muita coisa acontecendo nesta história, e é exatamente isso que a torna tão assustadora e convincente quanto é. Poderíamos rir um pouco ao pensar em um adolescente tendo um encontro sexual com Gêmeos, mas esse é exatamente o tipo de coisa que mentes curiosas e inundadas de hormônios vão tentar. Isso apenas nos deixa perguntando: Qual é a resposta apropriada?

A tolerância zero é apenas uma política preguiçosa que ignora a existência real do contexto e das nuances – mas, ao mesmo tempo, quem quer ser acusado de ser visto como “fraco” no abuso infantil? Melhores controles parentais são um começo, mas esta família pensou que os tinha ativado – eles simplesmente não estavam cientes das configurações do Gemini. Com incidentes como este aparentemente destinados apenas a aumentar em frequência, a necessidade de proteções robustas que também proporcionem aos inocentes uma saída parece ainda mais crítica.