Vazamentos de dados sensíveis, vieses e conteúdos tóxicos exige contramedidas das autoridades
Um relatório recente do Escritório Federal de Segurança da Informação da Alemanha (BSI) ressalta o potencial revolucionário dos modelos de IA generativa, como ChatGPT, DALL-E e ferramentas de geração de vídeo, ao mesmo tempo em que alerta para riscos críticos que exigem medidas imediatas por parte de empresas, governos e usuários.
O estudo “Modelos de IA Generativa: Oportunidades e Riscos para Indústrias e Autoridades” traça um panorama dos desafios de segurança associados a essa tecnologia emergente. A pesquisa destaca que, apesar da versatilidade desses sistemas – capazes de produzir desde textos técnicos e códigos de programação até imagens realistas e vídeos com aplicações em áreas como saúde, arquitetura e entretenimento – há uma série de vulnerabilidades que não podem ser ignoradas.
Entre os riscos identificados, estão o vazamento de dados sensíveis decorrente do processamento de informações confidenciais, o surgimento de vieses e conteúdos tóxicos em função de conjuntos de treinamento desbalanceados e a dificuldade em explicar os processos decisórios dos modelos, o que reforça a natureza opaca desses sistemas.
“O conteúdo necessário para treinar modelos de IA generativos é parcialmente coletado automaticamente e em intervalos regulares de fontes públicas como a internet, um processo conhecido como crawling. Isso normalmente envolve informações abertas e facilmente acessíveis, que às vezes são insuficientemente protegidas e incorporadas aos dados de treinamento sem verificações de integridade completas. Por meio de hacking tradicional, engenharia social sofisticada para obter credenciais de acesso ou redirecionamento de tráfego de dados, invasores podem manipular o conteúdo original substituindo, adicionando ou alterando dados no local de armazenamento ou durante o download”, diz o estudo.
Além disso, o relatório aponta para a possibilidade de uso malicioso da tecnologia, como a criação em massa de deepfakes, notícias falsas e identidades sintéticas, que podem ser exploradas em golpes e ações cibernéticas, bem como ataques diretos aos modelos, como o envenenamento dos dados de treinamento e a injeção de prompts que burlam os mecanismos de segurança.
Em resposta a esses desafios, o BSI propõe a adoção de contramedidas que incluem a seleção rigorosa de modelos com transparência na origem dos dados, a implementação de técnicas robustas de proteção e anonimização das informações, a realização de testes contínuos para identificar vulnerabilidades e a conscientização dos usuários sobre os riscos associados ao compartilhamento de dados sensíveis.
O estudo também destaca a preocupação com a crescente dependência de modelos controlados por um número restrito de empresas, o que pode limitar a fiscalização e aumentar os riscos de monopólio tecnológico, sugerindo a necessidade de padrões abertos e de uma colaboração internacional para evitar que falhas em sistemas de IA generativa se transformem em crises sistêmicas.
