Estudo mostra que registros de agentes de IA não resistem a um padrão forense de evidência
O artigo "Hearsay" audita 16 frameworks de agentes de IA implantados e conclui que nenhum produz um registro de execução verificável por um leitor que não estava presente — ou seja, nenhum atende ao padrão que os autores chamam de "evidenciário". Exames feitos por LLMs e por humanos conseguem apontar a falha certa em 74% a 91% dos casos, mas raramente conseguem provar, a partir do próprio log, como a execução de fato ocorreu, e a saída proposta é duplicar o registro com um log externo, somente para acréscimo (append-only) e assinado por hash.
O problema que o artigo ataca é conceitualmente simples e diretamente equivalente a um princípio básico de perícia digital: o registro de um evento não pode ser confiável como prova se foi escrito, e pode ser reescrito, pela própria parte cujo comportamento está sendo investigado. Em perícia tradicional isso é resolvido com write-blockers, hashes de aquisição e cadeia de custódia documentada; no mundo dos agentes de IA — sistemas que decidem e executam ações com base em um LLM — o "registro" costuma ser um log de texto gerado pelo próprio harness (o software que orquestra o agente), sem qualquer garantia independente de integridade.
Os autores testaram isso de forma empírica: pegaram cinco harnesses populares rodando catorze tarefas, geraram traces de execução, e usaram três LLMs "examinadores" cegos mais um painel humano para tentar diagnosticar falhas a partir apenas do log. Cada citação que um examinador usava como justificativa era checada mecanicamente para saber se realmente vinha de algo que o harness havia escrito ou de inferência não sustentada. O resultado: os examinadores acertam o diagnóstico da falha em 74–91% dos casos, mas menos de uma citação em dez aponta para algo que o harness efetivamente registrou — o resto é reconstrução plausível, não evidência. Quando os pesquisadores inseriram de propósito 28 omissões e fabricações no log, um exame comum baseado em hash do próprio arquivo (equivalente a um hash de integridade simples) não pegou nenhuma, enquanto um log paralelo, externo ao harness, pegou as 28.
A lição técnica central é que hashing e assinatura não bastam se a fonte do dado é a única testemunha do próprio comportamento; é preciso uma segunda fonte independente, fora do controle do sistema investigado, similar ao conceito de log de auditoria externo (out-of-band) já usado em ambientes de alta segurança e em sistemas de pagamento.
Para quem atua em forense digital e resposta a incidentes, isso importa porque agentes de IA autônomos já estão sendo integrados a pipelines de produção — atendimento, DevOps, segurança — e mais cedo ou mais tarde um desses agentes vai protagonizar um incidente que precisa ser investigado ou vai gerar evidência usada em um processo disciplinar, contratual ou judicial. Este artigo é um dos primeiros a tratar essa lacuna com rigor equivalente ao que a perícia já exige de qualquer outra fonte de evidência digital, e sugere que times de IR e de compliance deveriam desde já cobrar de fornecedores de agentes de IA um logging externo e verificável, em vez de confiar no relatório que o próprio agente produz sobre si mesmo.