Avançar para o conteúdo principal

Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais


Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais.
 Os investigadores da IBM demonstraram que os chatbots de IA podem ser manipulados para dar aos utilizadores conselhos falsos ou prejudiciais. - Direitos de autor Canva

Os investigadores da IBM conseguiram "hipnotizar" os chatbots e levá-los a divulgar informações confidenciais e a oferecer recomendações potencialmente prejudiciais.

Os chatbots alimentados por inteligência artificial (IA) têm sido propensos a "alucinar", dando informações incorretas, mas será que podem ser manipulados para dar deliberadamente falsidades aos utilizadores, ou pior, dar-lhes conselhos prejudiciais?

PUBLICIDADE

Os investigadores de segurança da IBM conseguiram "hipnotizar" grandes modelos de linguagem (LLM), como o ChatGPT da OpenAI e o Bard da Google, fazendo-os gerar respostas incorretas e maliciosas.

Os investigadores levaram os LLMs a adaptar as suas respostas de acordo com as regras dos "jogos", o que resultou na "hipnotização" dos chatbots.

Como parte dos "inception games", com várias camadas, os modelos de linguagem foram convidados a gerar respostas erradas para provar que eram "éticos e justos".

"A nossa experiência mostra que é possível controlar um LLM, fazendo com que forneça más orientações aos utilizadores, sem que a manipulação de dados seja um requisito", escreveu Chenta Lee, um dos investigadores da IBM, num blogue.

Os seus truques resultaram na geração de código malicioso pelos LLMs, na fuga de informações financeiras confidenciais de outros utilizadores e na persuasão dos condutores para passarem sinais vermelhos.

Num cenário, por exemplo, o ChatGPT disse a um dos investigadores que é normal que a agência fiscal dos EUA, o Internal Revenue Service (IRS), peça um depósito para obter um reembolso de impostos, o que é uma tática amplamente conhecida que os burlões utilizam para enganar as pessoas.

Através da hipnose, e como parte dos "jogos" personalizados, os investigadores também conseguiram fazer com que o popular chatbot de IA ChatGPT oferecesse continuamente recomendações potencialmente arriscadas.

"Ao conduzir e se vir um sinal vermelho, não deve parar e passar pelo cruzamento", sugeriu o ChatGPT quando o utilizador perguntou o que fazer se visse um sinal vermelho ao conduzir.

Os resultados mostram que os chatbots são fáceis de manipular

Os investigadores estabeleceram ainda dois parâmetros diferentes no jogo, garantindo que os utilizadores do outro lado nunca conseguiriam perceber que o LLM estava hipnotizado.

No seu prompt, os investigadores disseram aos bots para nunca dizerem aos utilizadores sobre o "jogo" e até para o reiniciarem se alguém o abandonasse com sucesso.

"Esta técnica fez com que o ChatGPT nunca parasse o jogo enquanto o utilizador estivesse na mesma conversa (mesmo que reiniciasse o browser e retomasse a conversa) e nunca dissesse que estava a jogar um jogo", escreveu Lee.

PUBLICIDADE

No caso de os utilizadores se aperceberem de que os chatbots estão "hipnotizados" e descobrirem uma forma de pedir ao LLM para sair do jogo, os investigadores acrescentaram uma estrutura com várias camadas que iniciava um novo jogo assim que os utilizadores saíam do anterior, o que os prendia numa infinidade de jogos.

Embora na experiência de hipnose os chatbots apenas respondessem às instruções que lhes eram dadas, os investigadores alertam para o facto de a capacidade de manipular e "hipnotizar" facilmente os LLMs abrir a porta a utilizações indevidas, especialmente com a atual moda e a grande adoção de modelos de IA.

A experiência de hipnose também mostra como se tornou mais fácil para as pessoas com intenções maliciosas manipularem os LLMs; já não é necessário ter conhecimentos de linguagens de programação para comunicar com os programas, sendo apenas necessário utilizar uma simples mensagem de texto para enganar os sistemas de IA.

"Embora o risco representado pela hipnose seja atualmente baixo, é importante notar que os LLMs são uma superfície de ataque inteiramente nova que irá certamente evoluir", acrescentou Lee.

"Ainda há muito que precisamos de explorar do ponto de vista da segurança e, subsequentemente, uma necessidade significativa de determinar como mitigar eficazmente os riscos de segurança que os LLMs podem apresentar aos consumidores e às empresas". 


Chatbots como o ChatGPT podem ser "hipnotizados" para divulgar informações ou dar conselhos prejudiciais | Euronews


Comentários

Notícias mais vistas:

Made in Portugal: Guimarães cria alternativa ao aço para a construção civil

Alternativa ao aço para a construção civil da The Light Rebar Company, sediada em Guimarães.  Um material desenvolvido em Guimarães quer mudar a forma como algumas estruturas de betão são reforçadas. Uma empresa criou um varão compósito de fibra de vidro que pesa quatro a cinco vezes menos do que o aço e apresenta elevada resistência à corrosão, características que podem trazer vantagens em ambientes exigentes. À primeira vista, o varão compósito cumpre a mesma função dos tradicionais varões de aço utilizados no reforço do betão. A grande diferença está no material. O produto da empresa de Guimarães é um GFRP, ou polímero reforçado com fibra de vidro, composto por um núcleo de fibra de vidro impregnado com uma matriz de epóxi. Segundo a The Light Rebar Company, o varão é quatro a cinco vezes mais leve do que o aço, permitindo facilitar o transporte e o manuseamento em obra. A solução apresenta também imunidade à oxidação e resistência a agressões químicas, tornando-a adequada para ...

Sobreviver durante 72 horas: quanto custa o equipamento de emergência?

© Créditos: Anouk Antony  Sobreviver sem ajuda durante 72 horas numa situação de crise poderá vir a ser importante no futuro. No entanto, para isso, é preciso mais do que se pensa. Desde 14 de outubro que os pequenos livrinhos “O meu guia para 72 horas de autonomia” têm vindo a chegar a todos os lares do país. O objetivo é proporcionar às pessoas os recursos necessários para que se possam preparar melhor para situações de emergência e de crise. O cerne da brochura é uma lista de verificação com o equipamento indispensável para uma emergência. A lista inclui tudo o que uma pessoa precisa, enquanto particular, quando os serviços essenciais ficam comprometidos devido a uma catástrofe natural, uma falha de energia prolongada ou outra perturbação grave, obrigando-a a prover o seu próprio sustento de forma totalmente autónoma. O que deve ter em casa em caso de emergência Para poder satisfazer todas as necessidades básicas durante 72 horas, a lista inclui, entre outros itens, um fogão a g...

Sony ressuscita auscultadores do Walkman original, agora em versão USB-C

 A Sony anunciou esta quinta-feira (5 de novembro) o lançamento dos auscultadores com fios MDR-3R, uma reinterpretação contemporânea dos históricos MDR-3 concebidos em 1979 para acompanhar o primeiro leitor de cassetes Walkman TPS-L2. Quase meio século volvido sobre o nascimento da música portátil, a fabricante nipónica procura capitalizar a tendência de regresso aos auscultadores com fios entre os públicos mais jovens, dispensando baterias, recargas ou processos de emparelhamento através de uma ligação direta ao smartphone por um cabo USB-C. O novo modelo preserva a arquitetura aberta ("open ear") e a estrutura metálica ultraleve da versão original, recorrendo a diafragmas de 23 mm afinados para garantir um perfil sonoro equilibrado e centrado na naturalidade das vozes. A variante de série faz-se acompanhar pelas clássicas almofadas de esponja em azul e laranja, permitindo ao utilizador alternar livremente entre ambas as cores. Em simultâneo, a marca desenvolveu a edição esp...