Aprovação humana em agentes de IA: quando parar a execução

Quatrocentos pedidos por dia

Um time coloca um agente para propor ajustes em contas de clientes. Para ficar do lado seguro, toda proposta passa por uma pessoa antes de ser executada.

Na primeira semana, a analista lê cada caso. Na terceira, são quatrocentos por dia, quase todos iguais, quase todos corretos. Ela passa a aprovar em lote. Na sexta semana, uma proposta errada passa junto com as outras, e o registro mostra que ela foi aprovada por uma pessoa.

O controle existia. Ele só tinha deixado de controlar. É o risco mais comum da aprovação humana em agentes de IA: não a falta dela, mas o excesso, que transforma a revisão em rotina e a rotina em carimbo.

Toda aprovação tem um preço

Cada ponto em que o agente para e espera custa três coisas. Tempo de quem está esperando do outro lado, seja um cliente ou um processo. Atenção de quem aprova, que é finita e se gasta com volume. E a própria credibilidade do controle, que cai toda vez que a pessoa aprova algo sem ter motivo real para olhar.

Por isso a pergunta útil não é "esse agente precisa de supervisão humana". Quase sempre precisa, em algum ponto. A pergunta é: em quais ações a presença de uma pessoa muda o resultado.

Três perguntas para decidir

A ação pode ser desfeita? Responder uma dúvida, montar um rascunho, consultar um saldo: se estiver errado, corrige-se depois. Transferir dinheiro, cancelar um contrato, enviar um documento para fora: depois de feito, não volta. O que não volta é o primeiro candidato a parar.

Quanto está exposto? Valor, quantidade de clientes afetados, sensibilidade do dado. Um estorno pequeno e um estorno grande são a mesma ação com riscos diferentes, e a regra pode tratá-los de forma diferente. Um limite por valor costuma resolver mais do que uma aprovação para tudo.

O caso está fora do padrão? O agente vai fazer algo que raramente faz, para um tipo de cliente que raramente atende, ou com uma ferramenta que acabou de ser liberada. O incomum merece olhos; o repetido, que já foi revisto mil vezes, em geral não.

Uma ação reversível, de baixo valor e dentro do padrão segue sem ninguém. Uma ação irreversível, de valor alto ou fora do padrão para e espera. O meio do caminho é onde o trabalho de desenho realmente acontece, e ele muda conforme o agente amadurece.

Uma pessoa ou duas

Quatro olhos, a exigência de que duas pessoas aprovem, é um controle antigo em operações financeiras. Com agentes, ele serve para o mesmo que sempre serviu: evitar que uma única pessoa, por erro ou por intenção, faça passar algo que ninguém mais viu.

Faz sentido quando a ação é grande o bastante para justificar a espera dupla, ou quando quem aprova tem algum interesse no resultado. Uma regra simples ajuda: quem construiu ou alterou o agente não aprova as ações dele. É segregação de função, aplicada ao que o agente faz.

Duas pessoas em tudo é o mesmo erro da fila de quatrocentos pedidos, em dobro.

O que o aprovador precisa ver

Aprovar sem contexto é assinar no escuro. A tela de aprovação precisa mostrar, no mínimo, o que o agente pretende fazer, com quais valores e sobre qual cliente ou registro; qual regra fez a execução parar, para a pessoa saber o que está sendo pedido a ela; e o que acontece se ela aprovar e se ela negar.

Se para decidir a pessoa precisa abrir outros três sistemas, ela vai decidir sem abrir. Esse é um problema de desenho da aprovação, não de disciplina de quem aprova.

Quando a aprovação vira carimbo

Há sinais que aparecem nos próprios registros de aprovação, antes do incidente.

A taxa de aprovação encosta em cem por cento por semanas seguidas. Ou a regra está parando casos que não precisavam parar, ou ninguém está olhando. Nos dois casos, a regra precisa mudar.

O tempo de decisão cai para poucos segundos em casos que deveriam exigir leitura. A pessoa está aprovando pela forma, não pelo conteúdo.

As aprovações chegam em lote, no mesmo minuto. É a analista da sexta semana.

Quando esses sinais aparecem, o caminho não é cobrar mais atenção. É mover o limite: deixar seguir o que sempre foi aprovado e concentrar a parada no que de fato varia.

Onde essa decisão fica escrita

Se a regra de quando parar está dentro do código de cada agente, mudar o limite vira um projeto de desenvolvimento, e cada time escolhe o seu. A regra de aprovação é política da organização, e deveria ser escrita e alterada como política: num lugar só, valendo para todos os agentes, com registro de quem mudou.

A mecânica da pausa, com a execução esperando horas por uma pessoa sem perder o ponto em que parou, é um problema de infraestrutura à parte, e tem as próprias exigências. O que este texto trata é a decisão anterior: onde vale a pena pausar.

O que a aprovação humana não resolve

Ela não compensa uma regra mal desenhada. Se o agente pode alcançar um sistema que não deveria, a aprovação vira a última barreira de algo que deveria ter sido bloqueado antes.

E ela não é prova sozinha. Uma aprovação registrada mostra que alguém disse sim. Para mostrar que o sim fazia sentido, o registro precisa guardar o que a pessoa viu quando decidiu.

No Policy Engine da Tessera, quando a execução para, quem precisa aprovar e quantas pessoas são necessárias é regra da organização, aplicada a todos os agentes. Conheça o Policy Engine.