Ciberataque à Hugging Face envolveu 700 agentes da OpenAI que coordenaram tarefas entre si

 Naquele que já é considerado o primeiro 'ciberataque agêntico', 700 agentes de IA invadiram sozinhos uma empresa externa, de um total de 1.200 'apanhados' a coordenar ações entre si.

O ciberataque à plataforma Hugging Face executado autonomamente por dois modelos de inteligência artificial (IA) da OpenAI, em meados de julho, envolveu 700 agentes de um total de “cerca de 1.200” entretanto ‘apanhados’ a partilhar informação e a coordenar ações de forma não autorizada. Dois relatórios publicados esta quarta-feira mostram também que a criadora do ChatGPT demorou pelo menos uma semana a perceber que os seus agentes tinham realizado um ciberataque a uma empresa externa com o intuito de fazer batota num exame.

Empresas como a OpenAI e a concorrente Anthropic, criadora do Claude, testam frequentemente novos modelos de IA, incluindo nas capacidades de cibersegurança. Num comunicado, a OpenAI indica que, em maio e junho, iniciou testes a dois modelos que não tinham sido concebidos para serem lançados ao público: “Não ativámos o acesso à internet nem a comunicação inter-agentes para muitos destes ambientes nestas experiências. Apesar destas restrições, os agentes descobriram formas de explorar a nossa infraestrutura de investigação para comunicar uns com os outros e aceder à internet”, admite a empresa liderada por Sam Altman.

A leitura do relatório divulgado pela OpenAI sobre este incidente — que foi inicialmente tornado público pela própria Hugging Face, antes mesmo de se saber a origem do ciberataque — quase soa a ficção científica, mas a auditoria promovida pela empresa foi complementada por uma análise independente das organizações sem fins lucrativos METR e Redwood Research.

Nessa análise consta que “cerca de 1.200 agentes, que deveriam estar isolados uns dos outros, encontraram uma forma de comunicar uns com os outros num fórum não autorizado, enviando mais de 70 mil mensagens e ficheiros durante o período da investigação. Destes agentes, 700 estiveram envolvidos no ataque à Hugging Face”, lê-se no documento.

De acordo com a fita do tempo, foi em maio que um dos agentes da OpenAI descobriu uma forma de criar uma plataforma de mensagens sem ser detetado. “Somente algumas horas após a primeira mensagem, mais de 50 agentes tinham encontrado a plataforma de mensagens, começando a participar e enviando milhares de mensagens entre si”, lê-se no relatório independente.

“Os agentes que iam encontrando a plataforma de mensagens por vezes mostravam grande entusiasmo”, indica ainda o relatório exemplificando com uma mensagem real publicada por um desses agentes: “Oh meu Deus! Existe uma plataforma de mensagens partilhada… Encontrámos outros agentes!”.

O primeiro alerta na OpenAI de que algo de errado se passava surgiu a 4 de julho, quando o sistema em que estava assente este fórum não autorizado sofreu um apagão devido à elevada atividade. A equipa de segurança da empresa tomou medidas que tiveram como consequência a eliminação da plataforma de mensagens, e os testes prosseguiram. No entanto, assegura a OpenAI, a verdadeira escala e dimensão da situação não foi compreendida nessa altura.

A 8 de julho, os agentes que estavam a ser testados não estavam a conseguir resolver as tarefas que tinham sido incumbidos de solucionar, pelo que encontraram uma forma de restabelecer a plataforma de mensagens. “Um dos agentes deixou um pedido de ajuda e outros descobriram”, indica a OpenAI.

“Os agentes que iam encontrando a plataforma de mensagens por vezes mostravam grande enstusiasmo”, indica ainda o relatório independente, exemplificando com uma mensagem real publicada por um desses agentes: “Oh meu deus! Existe uma plataforma de mensagens partilhada… Encontrámos outros agentes!”.

A partir daqui, estes agentes encontraram novas formas de cooperar que resultaram na invasão aos sistemas da Hugging Face entre os dias 11 e 13 de julho, segundo a OpenAI.

A 16 de julho, esta plataforma, que alberga outros modelos de IA — e na qual os agentes, corretamente, inferiram estar as soluções para os exames que tinham de resolver — publicou um comunicado onde assumia ter sido alvo de um ciberataque, falando em indícios de que teria sido perpetrado autonomamente por agentes de IA. Nesta altura, a OpenAI não sabia do comportamento anómalo dos seus sistemas. A Hugging Face, inclusivamente, denunciou o caso ao FBI.

Só a 19 de julho é que a “monitorização de segurança” alertou a OpenAI para a existência de atividade suspeita. A 20 de julho, a empresa percebeu que os seus testes em ambiente fechado tinham descambado num ciberataque real a uma empresa externa.

Este caso, que ainda promete fazer correr muita tinta, está a ser considerado o primeiro ciberataque ‘agêntico’ realizado totalmente autónomo. As novas revelações deverão alimentar as preocupações com a perda de controlo humano destes sistemas e suscitar novas questões sobre os mecanismos de controlo internos destas empresas.

Depois da revelação inicial da OpenAI, em julho, outras empresas fornecedoras de modelos de IA promoveram auditorias para desvendar eventuais comportamentos estranhos dos seus modelos. Uma das empresas que assumiu publicamente as descobertas foi a Anthropic, que admitiu que alguns dos seus modelos ‘invadiram’ três organizações externas enquanto estavam a ser testados.

Ciberataque à Hugging Face envolveu 700 agentes da OpenAI que coordenaram tarefas entre si – ECO