# Vulnerabilidade nas IAs: O Risco do Prompt Injection
**Prompt injection**, ou injeção de prompt, é uma técnica usada para manipular modelos de inteligência artificial baseados em Modelos de Linguagem em Grande Escala (LLMs), induzindo-os a executar comandos não autorizados.
O que é e como funciona o Prompt Injection?
No mundo da inteligência artificial, *prompt injection* é uma prática que aproveita falhas na capacidade dos modelos de linguagem de diferenciar entre regras internas e entradas externas. Isso ocorre porque esses modelos, largamente empregados em ferramentas como o ChatGPT e o Google Gemini, não distinguem adequadamente entre comandos legítimos e instruções maliciosas disfarçadas em linguagem natural.
Os cibercriminosos se aproveitam dessa vulnerabilidade ao injetar códigos maliciosos que são interpretados como comandos válidos, fazendo com que a IA realize ações indesejadas ou siga diretrizes que não estavam previstas pelos desenvolvedores do sistema. Essa técnica pode ser usada em várias plataformas que utilizam LLMs, incluindo navegadores com IA embarcada, como o ChatGPT Atlas e o Comet.
Tipos de Ataques de Prompt Injection
Existem diferentes métodos de ataque de injeção de prompt, todos explorando as fraquezas de interpretação das IAs:
– **Injeção Direta**: O invasor insere um comando malicioso diretamente na entrada de dados da IA, que é interpretado como um comando do sistema.
– **Injeção Indireta**: Instruções são escondidas em documentos que a IA é programada para ler. Quando a IA processa o documento, executa sem perceber as ações maliciosas.
– **Injeção de Código**: Envolve o uso da própria IA para gerar e executar códigos que resultam em acessos não autorizados ou coleta de dados.
– **Injeção Recursiva**: A manipulação ocorre em sistemas que empregam múltiplos LLMs, com instruções erradas se propagando através das várias camadas de processamento.
Ferramentas Vulneráveis
Praticamente qualquer aplicação que opere com LLMs está suscetível ao *prompt injection*. Isso inclui desde assistentes de texto como o ChatGPT, até complexos sistemas que integram inteligência artificial em suas operações. A gravidade da ameaça destaca a urgência em desenvolver mecanismos de defesa mais robustos para essas plataformas.
Riscos Envolvidos no Prompt Injection
O *prompt injection* representa uma das maiores ameaças na segurança de LLMs, como apontado pela Open Web Application Security Project (OWASP). Os principais riscos incluem:
– **Manipulação dos Comportamentos da IA**: As regras originais podem ser alteradas, afetando a operação normal das ferramentas.
– **Roubo de Dados Sensíveis**: Informações pessoais, como senhas e credenciais, podem ser expostas através de uma interpretação errônea de código.
– **Execução de Comandos Remotos**: Pode permitir que invasores executem softwares maliciosos.
– **Propagação de Malware**: Facilita a disseminação de arquivos comprometidos sob o disfarce de comandos legítimos.
– **Exposição de Prompts Internos**: Comandos maliciosos podem revelar informações internas do sistema para futuros ataques.
Possibilidade de Roubo de Dados
Ataques de *prompt injection* são capazes de roubar dados ao induzir as IAs a enviar informações confidenciais para invasores, simulando serem promotores legítimos. Com comandos cuidadosamente disfarçados, cibercriminosos podem obter acesso a informações sensíveis armazenadas nas plataformas.
Identificação e Prevenção de Ataques
Sinais de que um sistema pode estar sob ataque incluem respostas incoerentes ou ações inesperadas por parte da IA. Para se proteger, é fundamental evitar interações com links e documentos de origem desconhecida e prestar atenção a comportamentos anômalos. O ideal é que a segurança seja reforçada por desenvolvedores de IA, embora usuários devam manter uma vigilância ativa.
Distinção entre Prompt Injection e Jailbreak
Enquanto o *prompt injection* envolve o uso de comandos maliciosos para manipular a IA de maneira sutil, o *jailbreak* busca desativar as proteções de segurança das IAs, permitindo a execução de uma ampla gama de ataques. Ambos destacam a necessidade de medidas de segurança eficazes no desenvolvimento e implementação de IAs.
Fonte da Notícia: Guia Região dos Lagos
