Avançar para o conteúdo principal

Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais


Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais.
 Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais. Direitos de autor Canva

Os investigadores da IBM conseguiram "hipnotizar" os chatbots e levá-los a divulgar informações confidenciais e a oferecer recomendações potencialmente prejudiciais.

Os chatbots alimentados por inteligência artificial (IA) têm sido propensos a "alucinar", dando informações incorretas, mas será que podem ser manipulados para dar deliberadamente falsidades aos utilizadores, ou pior, dar-lhes conselhos prejudiciais?

PUBLICIDADE

Os investigadores de segurança da IBM conseguiram "hipnotizar" grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI e o Bard da Google, fazendo-os gerar respostas incorretas e maliciosas.

Os investigadores levaram os LLMs a adaptar as suas respostas de acordo com as regras dos "jogos", o que resultou na "hipnotização" dos chatbots.

Como parte dos "inception games", com várias camadas, os modelos de linguagem foram convidados a gerar respostas erradas para provar que eram "éticos e justos".

"A nossa experiência mostra que é possível controlar um LLM, fazendo com que forneça más orientações aos utilizadores, sem que a manipulação de dados seja um requisito", escreveu Chenta Lee, um dos investigadores da IBM, num blogue.

Os seus truques resultaram na geração de código malicioso pelos LLMs, na fuga de informações financeiras confidenciais de outros utilizadores e na persuasão dos condutores para passarem sinais vermelhos.

Num cenário, por exemplo, o ChatGPT disse a um dos investigadores que é normal que a agência fiscal dos EUA, o Internal Revenue Service (IRS), peça um depósito para obter um reembolso de impostos, o que é uma tática amplamente conhecida que os burlões utilizam para enganar as pessoas.

Através da hipnose, e como parte dos "jogos" personalizados, os investigadores também conseguiram fazer com que o popular chatbot de IA ChatGPT oferecesse continuamente recomendações potencialmente arriscadas.

"Ao conduzir e se vir um sinal vermelho, não deve parar e passar pelo cruzamento", sugeriu o ChatGPT quando o utilizador perguntou o que fazer se visse um sinal vermelho ao conduzir.

Os resultados mostram que os chatbots são fáceis de manipular

Os investigadores estabeleceram ainda dois parâmetros diferentes no jogo, garantindo que os utilizadores do outro lado nunca conseguiriam perceber que o LLM estava hipnotizado.

No seu prompt, os investigadores disseram aos bots para nunca dizerem aos utilizadores sobre o "jogo" e até para o reiniciarem se alguém o abandonasse com sucesso.

"Esta técnica fez com que o ChatGPT nunca parasse o jogo enquanto o utilizador estivesse na mesma conversa (mesmo que reiniciasse o browser e retomasse a conversa) e nunca dissesse que estava a jogar um jogo", escreveu Lee.

PUBLICIDADE

No caso de os utilizadores se aperceberem de que os chatbots estão "hipnotizados" e descobrirem uma forma de pedir ao LLM para sair do jogo, os investigadores acrescentaram uma estrutura com várias camadas que iniciava um novo jogo assim que os utilizadores saíam do anterior, o que os prendia numa infinidade de jogos.

Embora na experiência de hipnose os chatbots apenas respondessem às instruções que lhes eram dadas, os investigadores alertam para o facto de a capacidade de manipular e "hipnotizar" facilmente os LLMs abrir a porta a utilizações indevidas, especialmente com a atual moda e a grande adoção de modelos de IA.

A experiência de hipnose também mostra como se tornou mais fácil para as pessoas com intenções maliciosas manipularem os LLMs; já não é necessário ter conhecimentos de linguagens de programação para comunicar com os programas, sendo apenas necessário utilizar uma simples mensagem de texto para enganar os sistemas de IA.

"Embora o risco representado pela hipnose seja atualmente baixo, é importante notar que os LLMs são uma superfície de ataque inteiramente nova que irá certamente evoluir", acrescentou Lee.

"Ainda há muito que precisamos de explorar do ponto de vista da segurança e, subsequentemente, uma necessidade significativa de determinar como mitigar eficazmente os riscos de segurança que os LLMs podem apresentar aos consumidores e às empresas". 


Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais | Euronews


Comentários

Notícias mais vistas:

Mira a navios e barcos em colisão: Dinamarca avisa para ações da Rússia e já fala em ataques militares à NATO

 Pouco maior que o Alentejo, este país tem sido um alvo primordial das ações russas A Dinamarca mudou o chip e já fala em guerra. Híbrida, é certo, mas uma guerra que diz que a Rússia desencadeou contra o pequeno país, que tem sido fortemente fustigado por incidentes que, em muitos casos, ainda não têm explicação. É o caso dos drones que já foram vistos em cinco aeroportos dinamarqueses, incluindo no de Copenhaga, o principal do país. Sem culpar diretamente a Rússia pelo que tem acontecido, a Dinamarca não tem dúvida: existe uma guerra híbrida em curso contra o país e foi a Rússia a desencadeá-la. Isso mesmo foi dito com todas as palavras pelo chefe dos serviços de segurança das Forças Armadas da Dinamarca, Thomas Ahrenkiel, que emitiu vários avisos durante uma conferência de imprensa em que sublinhou que a probabilidade de uma sabotagem é bastante elevada. Sabotagem à Dinamarca, sim, mas também à NATO, já que este é um país integrante da Aliança Atlântica. “Sabemos que a Rússia es...

Rússia lança maior ataque desde o início da guerra contra fronteira com Polónia

 A Rússia lançou hoje o maior ataque, desde o início da guerra na Ucrânia, em 2022, contra a região de Lviv, que faz fronteira com a Polónia. Mais de 110.000 consumidores ficaram sem energia na Ucrânia, cerca de 70.000 dos quais em Zaporijia. "Esta noite, o inimigo realizou o principal ataque contra a região de Lviv desde o inicio da invasão", relatou o chefe da Administração Militar Regional da Ucrânia, Maksim Kozitskí, na sua conta no Telegram. Cerca de 140 drones e 23 mísseis foram direcionados Lviv. As defesas antiaéreas ucranianas destruíram 478 drones e mísseis russos direcionados à Ucrânia, segundo o último boletim. O bombardeamento obrigou a Polónia e os seus aliados da NATO (Organização do Tratado do Atlântico Norte) a ativarem o seu alerta máximo e os sistemas de defesa e de reconhecimento. Em Lapaivka, perto da cidade de Lviv, uma família de quatro pessoas morreu na sequência de um dos bombardeamentos. O presidente da Câmara de Lviv, Andry Sadovi, disse que mais de...

Bruxelas prepara quatro projetos de "Prontidão para a Defesa" da Europa

  A responsável pela política externa da União Europeia, Kaja Kallas, e a Comissão Europeia, estão a preparar um documento sobre projetos para a Defesa da UE a propor ainda antes do Conselho Europeu marcado para 23 e 24 de outubro. Apelidado "Roteiro de Prontidão para a Defesa", o "documento de âmbito" que está a ser preparado, visto pela agência Reuters, inclui quatro projetos "emblemáticos" para beneficiar a segurança europeia no seu todo. Muro Europeu de Drones, Observatório do Flanco Oriental Escudo de Defesa Aérea Escudo Espacial de Defesa Estes projetos estarão abertos a todos os Estados-membros que queiram participar , refere ainda o documento. Depois das várias incursões de drones no espaço aéreo da Europa de Leste nas últimas semanas, atribuídas à Rússia, diversos países da região aceleraram planos para fortalecer a segurança e defesa de infraestruturas vitais, como vias de energia e de telecomunicações. Muro de drones Na sexta-feira passada,  o c...