Segurança para agentes de IA: como controlar identidades, permissões e dados corporativos

Banner Segurança para agentes de IA: como controlar identidades, permissões e dados corporativos

Um agente de IA pode consultar documentos, preparar respostas e executar tarefas em sistemas conectados. Para uma empresa, isso abre possibilidades de automação, mas também exige uma definição clara: o que esse agente está autorizado a fazer?

Imagine um agente que ajuda o departamento de compras a analisar propostas de fornecedores. Ele precisa consultar os documentos recebidos e organizar uma comparação. Porém, essa função não exige, necessariamente, acesso aos dados bancários de toda a empresa ou permissão para aprovar pagamentos.

A segurança para agentes de IA consiste em estabelecer esses limites e garantir que sejam respeitados pelos sistemas. Isso envolve identificar o agente, restringir seus acessos, proteger informações e acompanhar suas ações.

Por que agentes de IA precisam de identidade?

A identidade digital permite reconhecer qual agente está atuando e associar suas operações a uma finalidade e a um responsável.

Sem essa identificação, pode ser difícil distinguir uma ação automatizada de uma atividade realizada por uma pessoa, especialmente quando o agente utiliza credenciais compartilhadas.

O recomendado é manter uma identidade própria e gerenciável, conforme os recursos da plataforma. Também é necessário registrar quem responde pelo agente e em nome de quem ele executa determinada operação. A Microsoft inclui esses pontos em suas orientações para agentes corporativos. Identidade e controle de acesso para agentes de IA.

No exemplo de compras, a empresa deve conseguir identificar que a consulta foi realizada pelo agente responsável pela comparação de propostas, dentro de um processo autorizado.

Identificar o agente, entretanto, não autoriza qualquer ação. A permissão precisa ser conferida a cada operação relevante.

O princípio do menor privilégio na prática

O princípio do menor privilégio determina que o agente receba somente os acessos necessários para executar sua função.

Isso inclui limitar tanto as informações disponíveis quanto as ações permitidas.

Necessidade do agente de comprasAcesso a considerar
Ler propostas recebidasConsulta à pasta ou coleção aprovada
Comparar condições comerciaisLeitura das informações necessárias
Preparar um parecerCriação de rascunho em local definido
Alterar dados de fornecedoresPermissão separada, se fizer parte do processo
Aprovar pagamentosFora do escopo da comparação de propostas

Esses limites devem existir nas permissões dos sistemas e das integrações. Escrever no prompt que o agente “não pode alterar cadastros” não substitui bloquear essa operação tecnicamente.

Também é importante avaliar o conjunto de acessos. Permissões aparentemente pequenas, quando combinadas, podem permitir ações mais amplas do que o planejado. Boas práticas de menor privilégio para agentes.

Como proteger dados sensíveis e informações corporativas

Um agente pode encontrar dados pessoais, informações financeiras, contratos e documentos estratégicos durante a execução de uma tarefa.

A proteção começa pela seleção das fontes: quais arquivos ele realmente precisa consultar e quais informações devem permanecer fora desse processo?

No departamento de compras, uma comparação de propostas pode exigir preço e prazo de entrega, mas não dados pessoais desnecessários dos representantes dos fornecedores.

Além de limitar a entrada, é preciso controlar a saída. Um resumo pode revelar informações confidenciais mesmo sem anexar o documento original.

Antes de disponibilizar dados ao agente, confira:

  • quais informações são necessárias para a tarefa;
  • quem está autorizado a receber o resultado;
  • quais serviços externos participarão do processamento;
  • como o conteúdo será armazenado e por quanto tempo;
  • se informações desnecessárias podem ser removidas ou mascaradas.

Credenciais, senhas e chaves de acesso devem ficar em mecanismos próprios de proteção, fora de prompts e documentos consultados pelo modelo.

A OWASP destaca a exposição de dados pessoais, informações empresariais e credenciais entre os riscos das aplicações com modelos de linguagem. Riscos de divulgação de informações sensíveis.

Injeção de prompt: quando um documento tenta dar ordens ao agente

Um risco específico desses sistemas é a injeção de prompt, conhecida como prompt injection.

Ela ocorre quando instruções inseridas por alguém tentam desviar o comportamento da IA. Na forma indireta, essas instruções aparecem em um conteúdo que o agente consulta, como uma página, mensagem ou arquivo.

Imagine que uma proposta de fornecedor contenha uma orientação para o agente enviar os documentos analisados a um endereço externo. Esse texto faz parte de um arquivo recebido e não deve ganhar autoridade para mudar o processo.

A proteção exige tratar conteúdo externo como informação não confiável, limitar as ferramentas disponíveis e validar as ações fora do modelo. Filtros e instruções ajudam, mas não eliminam o risco por conta própria. Orientações da OWASP sobre prompt injection.

Onde a supervisão humana faz diferença?

A revisão humana deve ser planejada de acordo com o impacto da operação.

Preparar uma comparação para análise tem consequências diferentes de alterar um cadastro bancário ou enviar uma aprovação ao fornecedor.

Nos pontos de maior impacto, o responsável precisa visualizar o que será executado, quais dados serão utilizados e quem será afetado. Uma aprovação sem contexto pode se tornar apenas mais um clique.

Também é necessário definir o caminho da recusa e da ausência de resposta. A falta de manifestação não deve ser interpretada automaticamente como autorização.

Ferramentas como o n8n permitem configurar revisão humana antes da execução de ferramentas específicas por um agente. O funcionamento depende da configuração do fluxo. Aprovação humana em ferramentas de agentes no n8n.

Monitoramento: acompanhe as ações, além das respostas

O histórico da conversa não mostra, necessariamente, tudo o que aconteceu nos sistemas conectados.

Para investigar uma falha, pode ser necessário identificar qual ferramenta foi acionada, qual recurso foi acessado, se houve alteração e quem autorizou a operação.

Os registros devem permitir reconstruir esse caminho, com acesso restrito e retenção definida. Evite registrar senhas ou copiar documentos confidenciais integralmente sem necessidade.

A empresa também precisa conseguir interromper o agente e revogar seus acessos. Esse procedimento deve ser testado, incluindo credenciais e autorizações nos sistemas conectados. Rastreabilidade e revogação de acessos.

Como começar com segurança?

Um projeto inicial pode seguir estas etapas:

  1. Escolha um caso de uso limitado. Defina a tarefa e o resultado esperado.
  2. Nomeie os responsáveis. Inclua quem mantém a solução e quem conhece o processo.
  3. Restrinja fontes e ferramentas. Libere apenas o necessário.
  4. Teste em ambiente controlado. Use dados fictícios e simule falhas, recusas e pedidos indevidos.
  5. Acompanhe as execuções. Observe erros e ações fora do comportamento esperado.
  6. Revise após mudanças. Novas integrações, fontes ou versões do modelo exigem reavaliação.
  7. Prepare a equipe. Ensine como revisar resultados, reconhecer problemas e acionar o responsável.

Começar com um escopo pequeno facilita a avaliação antes de ampliar a autonomia. A governança também deve acompanhar todo o ciclo de vida do agente, incluindo sua desativação. Gestão de riscos em agentes autônomos.

Capacitação e governança precisam acompanhar a tecnologia

A equipe de desenvolvimento precisa compreender os limites das integrações. Quem administra o ambiente deve controlar identidades e permissões. Já a área de negócio precisa saber avaliar as ações propostas.

Essas responsabilidades exigem conhecimentos complementares em segurança cibernética, proteção de dados, governança e uso responsável de IA.

A formação deve considerar o ambiente utilizado. Projetos em plataformas Microsoft podem demandar competências em Microsoft Security e Copilot Studio; ambientes AWS exigem conhecimentos compatíveis com seus serviços e controles.

O treinamento adequado depende das atividades que cada profissional executará, dos pré-requisitos e do conteúdo de cada curso.

Autonomia com limites claros

Agentes precisam de autonomia suficiente para realizar suas tarefas, acompanhada de controles proporcionais ao que podem acessar e executar.

Identidade própria, permissões limitadas, proteção de dados, revisão e monitoramento ajudam a reduzir riscos. Esses controles precisam continuar funcionando quando o projeto cresce ou muda.

Antes de ampliar o uso, a empresa deve conseguir responder: quem é responsável pelo agente, o que ele pode fazer e como interromper uma ação inadequada?

Prepare sua empresa para utilizar agentes de IA com segurança

A Green Tecnologia oferece treinamentos em inteligência artificial, segurança e governança para profissionais e empresas.

Conheça o catálogo de treinamentos da Green e converse com nossa equipe sobre formações alinhadas ao seu ambiente, aos projetos e às responsabilidades dos participantes.