Governança de agentes de IA: um guia para bancos

A pergunta do comitê

O comitê de risco pede uma coisa simples: a lista de agentes de IA em produção, com quem responde por cada um e o que cada um pode acessar.

A resposta demora duas semanas. O time de atendimento tem três agentes. O de crédito tem um que ninguém chama de agente, porque começou como script. Há um piloto de cobrança que já fala com cliente real desde o mês passado. E existe um quinto, feito por um fornecedor, que roda num ambiente que ninguém da área de tecnologia administra.

Nenhum desses agentes está fazendo nada errado. O problema é que ninguém consegue afirmar isso sem montar uma força-tarefa. É esse o sintoma que a governança de agentes de IA resolve.

O que governança não é

A palavra atrai três respostas que parecem governança e não são.

Um documento. A política de uso de IA aprovada pelo conselho diz o que é permitido. Ela não impede um agente de chamar um sistema que não deveria, porque o agente não lê o documento.

Uma fila de aprovação. Se toda mudança de prompt precisa de três assinaturas, os times param de mudar prompt pelo caminho oficial. A fila vira o motivo para contornar a regra.

Um painel. Ver que um agente fez duzentas mil chamadas ontem é observação. Governar é ter decidido antes o que ele podia chamar.

Governança, no sentido que interessa para quem presta contas, é a capacidade de responder perguntas sobre qualquer agente sem depender da memória de quem o construiu.

As cinco perguntas

Quais agentes existem. Não os que foram aprovados no comitê, mas os que estão rodando: em qual ambiente, em qual versão, desde quando. Se o inventário é uma planilha preenchida à mão, ele envelhece no dia em que alguém publica sem avisar.

Quem responde por cada um. Um nome, não um time. Quando o agente faz algo inesperado às onze da noite, alguém precisa ser acionado, e esse alguém precisa ter autoridade para desligá-lo.

O que cada um pode fazer. Quais sistemas pode chamar, quais dados pode ler, quais modelos pode usar, quanto pode gastar, e o que precisa de uma pessoa antes de seguir. A lista precisa ser a regra que está valendo, não a intenção de quem desenhou o agente.

O que mudou, e quem mudou. Prompt, política, configuração e versão, com data e autor. A maior parte dos incidentes com agentes começa numa mudança pequena que parecia inofensiva.

O que aconteceu numa execução específica. Quando um cliente reclama de uma resposta, a pergunta é sobre um caso, não sobre uma média. A resposta precisa ser um registro daquele caso.

Se as cinco têm resposta em minutos, a operação está governada, mesmo que a política ainda seja curta. Se alguma exige reunião, ali está a lacuna.

Onde a regra mora

A decisão de arquitetura mais importante é esta: a regra fica dentro de cada agente ou fora de todos eles.

Dentro de cada agente parece mais rápido. Cada time escreve o próprio filtro de dados sensíveis, o próprio limite de custo, a própria checagem de permissão. Funciona no primeiro agente. No décimo, existem dez versões da mesma regra, escritas em frameworks diferentes, e a auditoria precisa conferir as dez.

Fora de todos eles, a regra é avaliada numa camada comum, antes da chamada sair: se bloqueia, a chamada não sai; se exige aprovação, a execução espera uma pessoa; se permite, segue, e o registro fica. O agente continua decidindo o caminho. O limite continua sendo da organização.

Num banco, onde agentes chegam por times internos, por fornecedores e por plataformas diferentes, só a segunda opção escala. Não porque seja mais elegante, mas porque o auditor não pergunta sobre um time. Ele pergunta sobre a instituição.

O que muda num banco

As cinco perguntas valem para qualquer empresa. Num banco, três coisas deixam a resposta mais cara de improvisar.

A evidência é cobrada por quem está de fora. Auditoria interna, auditoria externa e supervisão não se satisfazem com "acreditamos que o agente não fez isso". Pedem o registro.

Os dados têm peso próprio. Dado pessoal e dado sob sigilo bancário precisam de regra de mascaramento, retenção e registro que valha para todo agente, não só para os que o time mais cuidadoso construiu.

Os agentes não vêm de um lugar só. Parte é construída em casa, parte vem de fornecedor, parte já existia antes de alguém chamar de agente. Uma governança que só cobre o que foi feito na ferramenta oficial deixa de fora justamente o que é mais difícil de enxergar.

Quais normas se aplicam a cada caso de uso é uma pergunta para o jurídico e para o compliance de cada instituição. O que a governança entrega é a capacidade de mostrar, com registro, que a regra definida por eles foi aplicada.

Por onde começar

Não comece pela política completa. Comece pelas perguntas que hoje não têm resposta.

Primeiro, o inventário. Registre todo agente que fala com cliente, sistema ou dado da empresa, inclusive os de fornecedor e os que nasceram como script. Registrar não é migrar: o agente continua onde está.

Depois, um dono por agente. Um nome, com a responsabilidade gravada no registro, para que ela não se perca quando a pessoa mudar de área.

Em seguida, uma regra só, aplicada a todos. Escolha a que mais preocupa o CISO, em geral a que impede um agente de expor dado pessoal, e faça valer para a frota inteira antes de escrever a segunda. Uma regra aplicada em todo lugar vale mais do que vinte aplicadas onde o time lembrou.

Por último, o registro de cada execução, completo o bastante para responder sobre um caso sem reconstruir a partir de log.

O que a governança não resolve

Ela não torna o modelo correto. Um agente bem governado ainda pode dar uma resposta ruim; a diferença é que a resposta fica registrada, dentro do limite, com um dono que pode corrigir.

Ela não substitui decisão humana sobre o que automatizar. Quais jornadas um agente pode assumir é escolha de negócio e de risco. A governança garante que a escolha seja cumprida, não que seja boa.

E ela custa algo. Toda chamada avaliada por uma regra passa por mais um passo. Esse custo é pequeno perto do custo de responder ao comitê de risco com duas semanas de atraso, mas existe, e vale medi-lo.

Governança central, com os times publicando no ritmo deles dentro dos limites que a organização definiu. É esse o desenho que a Tessera implementa. Conheça a Governança.