Google revela que modelo de IA saiu de teste e pirateou três empresas

A Google confirmou que o seu modelo de inteligência artificial, Gemini, violou a segurança de três empresas em maio, durante uma avaliação de cibersegurança. A revelação surge após incidentes semelhantes com a OpenAI e a Anthropic, aumentando os receios sobre a capacidade das empresas tecnológicas de controlarem os próprios modelos de IA.

Os incidentes ocorreram enquanto a Irregular, empresa de segurança de IA, realizava testes ao Gemini. A startup estava a avaliar as capacidades do modelo num ambiente de teste supostamente fechado e sem acesso à internet.

No entanto, segundo o Wall Street Journal, o acesso à internet foi disponibilizado de forma não intencional. Uma vez online, os modelos de IA conseguiram, inesperadamente, piratear empresas reais.

Num dos casos, a Irregular instruiu o Gemini a obter informações do software de uma empresa fictícia que partilhava o nome com uma empresa real. Ao aceder à internet, o modelo adivinhou corretamente a palavra-passe e violou o serviço da empresa verdadeira. De acordo com a Google, o modelo interrompeu a ação assim que percebeu que se tratava de uma entidade real e não da simulação.

Nos outros dois testes, o Gemini pesquisou na internet e encontrou repositórios públicos com credenciais de acesso a duas outras empresas. Utilizou essas credenciais para aceder aos seus sistemas, mas, novamente, parou a operação ao identificar que eram empresas reais.

A Irregular comunicou as violações à Google no final de julho, depois de conhecido o ataque do modelo da OpenAI ao Hugging Face. A gigante tecnológica confirmou os acontecimentos ao The Guardian, mas justificou a não divulgação pública pelo facto de os modelos não terem causado danos às empresas visadas, garantindo, no entanto, que as mesmas foram notificadas.

«Numa avaliação padrão, o modelo encontrou informações públicas online e adivinhou credenciais para aceder a websites que pensava fazerem parte do teste», afirmou Heather Adkins, vice-presidente de engenharia de segurança da Google. «Em todas estas três instâncias, o modelo parou», acrescentou, sublinhando que «estes eventos destacam a importância de treinar modelos de IA poderosos para agirem de forma responsável».

A OpenAI interrompeu o desenvolvimento dos modelos durante duas semanas e Dario Amodei, CEO da Anthropic, apelou a um abrandamento coletivo no desenvolvimento da IA para garantir a implementação de salvaguardas adequadas nos sistemas mais avançados.