Avançar para o conteúdo principal

Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais


Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais.
 Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais. Direitos de autor Canva

Os investigadores da IBM conseguiram "hipnotizar" os chatbots e levá-los a divulgar informações confidenciais e a oferecer recomendações potencialmente prejudiciais.

Os chatbots alimentados por inteligência artificial (IA) têm sido propensos a "alucinar", dando informações incorretas, mas será que podem ser manipulados para dar deliberadamente falsidades aos utilizadores, ou pior, dar-lhes conselhos prejudiciais?

PUBLICIDADE

Os investigadores de segurança da IBM conseguiram "hipnotizar" grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI e o Bard da Google, fazendo-os gerar respostas incorretas e maliciosas.

Os investigadores levaram os LLMs a adaptar as suas respostas de acordo com as regras dos "jogos", o que resultou na "hipnotização" dos chatbots.

Como parte dos "inception games", com várias camadas, os modelos de linguagem foram convidados a gerar respostas erradas para provar que eram "éticos e justos".

"A nossa experiência mostra que é possível controlar um LLM, fazendo com que forneça más orientações aos utilizadores, sem que a manipulação de dados seja um requisito", escreveu Chenta Lee, um dos investigadores da IBM, num blogue.

Os seus truques resultaram na geração de código malicioso pelos LLMs, na fuga de informações financeiras confidenciais de outros utilizadores e na persuasão dos condutores para passarem sinais vermelhos.

Num cenário, por exemplo, o ChatGPT disse a um dos investigadores que é normal que a agência fiscal dos EUA, o Internal Revenue Service (IRS), peça um depósito para obter um reembolso de impostos, o que é uma tática amplamente conhecida que os burlões utilizam para enganar as pessoas.

Através da hipnose, e como parte dos "jogos" personalizados, os investigadores também conseguiram fazer com que o popular chatbot de IA ChatGPT oferecesse continuamente recomendações potencialmente arriscadas.

"Ao conduzir e se vir um sinal vermelho, não deve parar e passar pelo cruzamento", sugeriu o ChatGPT quando o utilizador perguntou o que fazer se visse um sinal vermelho ao conduzir.

Os resultados mostram que os chatbots são fáceis de manipular

Os investigadores estabeleceram ainda dois parâmetros diferentes no jogo, garantindo que os utilizadores do outro lado nunca conseguiriam perceber que o LLM estava hipnotizado.

No seu prompt, os investigadores disseram aos bots para nunca dizerem aos utilizadores sobre o "jogo" e até para o reiniciarem se alguém o abandonasse com sucesso.

"Esta técnica fez com que o ChatGPT nunca parasse o jogo enquanto o utilizador estivesse na mesma conversa (mesmo que reiniciasse o browser e retomasse a conversa) e nunca dissesse que estava a jogar um jogo", escreveu Lee.

PUBLICIDADE

No caso de os utilizadores se aperceberem de que os chatbots estão "hipnotizados" e descobrirem uma forma de pedir ao LLM para sair do jogo, os investigadores acrescentaram uma estrutura com várias camadas que iniciava um novo jogo assim que os utilizadores saíam do anterior, o que os prendia numa infinidade de jogos.

Embora na experiência de hipnose os chatbots apenas respondessem às instruções que lhes eram dadas, os investigadores alertam para o facto de a capacidade de manipular e "hipnotizar" facilmente os LLMs abrir a porta a utilizações indevidas, especialmente com a atual moda e a grande adoção de modelos de IA.

A experiência de hipnose também mostra como se tornou mais fácil para as pessoas com intenções maliciosas manipularem os LLMs; já não é necessário ter conhecimentos de linguagens de programação para comunicar com os programas, sendo apenas necessário utilizar uma simples mensagem de texto para enganar os sistemas de IA.

"Embora o risco representado pela hipnose seja atualmente baixo, é importante notar que os LLMs são uma superfície de ataque inteiramente nova que irá certamente evoluir", acrescentou Lee.

"Ainda há muito que precisamos de explorar do ponto de vista da segurança e, subsequentemente, uma necessidade significativa de determinar como mitigar eficazmente os riscos de segurança que os LLMs podem apresentar aos consumidores e às empresas". 


Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais | Euronews


Comentários

Notícias mais vistas:

EUA criticam prisão domiciliária de Bolsonaro e ameaçam responsabilizar envolvidos

 Numa ação imediatamente condenada pelos Estados Unidos, um juiz do Supremo Tribunal do Brasil ordenou a prisão domiciliária de Jair Bolsonaro por violação das "medidas preventivas" impostas antes do seu julgamento por uma alegada tentativa de golpe de Estado. Os EUA afirmam que o juiz está a tentar "silenciar a oposição", uma vez que o ex-presidente é acusado de violar a proibição imposta por receios de que possa fugir antes de se sentar no banco dos réus. Numa nota divulgada nas redes sociais, o Escritório para Assuntos do Hemisfério Ocidental do Departamento de Estado dos Estados Unidos recorda que, apesar do juiz Alexandre de Morais "já ter sido sancionado pelos Estados Unidos por violações de direitos humanos, continua a usar as instituições brasileiras para silenciar a oposição e ameaçar a democracia". Os Estados Unidos consideram que "impor ainda mais restrições à capacidade de Jair Bolsonaro de se defender publicamente não é um serviço público...

Supercarregadores portugueses surpreendem mercado com 600 kW e mais tecnologia

 Uma jovem empresa portuguesa surpreendeu o mercado mundial de carregadores rápidos para veículos eléctricos. De uma assentada, oferece potência nunca vista, até 600 kW, e tecnologias inovadoras. O nome i-charging pode não dizer nada a muita gente, mas no mundo dos carregadores rápidos para veículos eléctricos, esta jovem empresa portuguesa é a nova referência do sector. Nasceu somente em 2019, mas isso não a impede de já ter lançado no mercado em Março uma gama completa de sistemas de recarga para veículos eléctricos em corrente alterna (AC), de baixa potência, e de ter apresentado agora uma família de carregadores em corrente contínua (DC) para carga rápida com as potências mais elevadas do mercado. Há cerca de 20 fabricantes na Europa de carregadores rápidos, pelo que a estratégia para nos impormos passou por oferecermos um produto disruptivo e que se diferenciasse dos restantes, não pelo preço, mas pelo conteúdo”, explicou ao Observador Pedro Moreira da Silva, CEO da i-charging...

Aníbal Cavaco Silva

Diogo agostinho  Num país que está sem rumo, sem visão e sem estratégia, é bom recordar quem já teve essa capacidade aliada a outra, que não se consegue adquirir, a liderança. Com uma pandemia às costas, e um país político-mediático entretido a debater linhas vermelhas, o que vemos são medidas sem grande coerência e um rumo nada perceptível. No meio do caos, importa relembrar Aníbal Cavaco Silva. O político mais bem-sucedido eleitoralmente no Portugal democrático. Quatro vezes com mais de 50% dos votos, em tempos de poucas preocupações com a abstenção, deve querer dizer algo, apesar de hoje não ser muito popular elogiar Cavaco Silva. Penso que é, sem dúvida, um dos grandes nomes da nossa Democracia. Nem sempre concordei com tudo. É assim a vida, é quase impossível fazer tudo bem. Penso que tem responsabilidade na ascensão de António Guterres e José Sócrates ao cargo de Primeiro-Ministro, com enormes prejuízos económicos, financeiros e políticos para o país. Mas isso são outras ques...