ABF-Bench propõe benchmark verificável para forense de blockchain com agentes de IA, expõe limites do Claude Code e Codex
O ABF-Bench é um benchmark interativo que transforma o rastreamento de fundos em blockchain numa tarefa verificável: cada movimento afirmado pelo agente precisa citar o registro de ledger que ele próprio recuperou. Construído a partir de casos reais de lavagem de dinheiro, o estudo mostra que um harness especializado em memória de trabalho atinge 75% de recall de arestas no grafo de rastreamento, contra 47% do Codex e apenas 10% do Claude Code, que perde pontos por citar registros que nunca recuperou de fato.
Investigação forense em blockchain tem uma característica peculiar: ao mesmo tempo em que lavadores de dinheiro fracionam, trocam e fazem bridge de fundos entre cadeias para dificultar o rastro, cada movimento fica permanentemente registrado em um ledger público e auditável. O ABF-Bench explora exatamente essa dualidade para criar tarefas de perícia que são, ao mesmo tempo, abertas (o investigador precisa adaptar a estratégia de rastreamento a cada caso) e objetivamente verificáveis (toda alegação de movimentação de fundos pode ser conferida contra o registro on-chain).
O pipeline caso-para-tarefa dos autores parte de casos reais de lavagem — transferências multi-hop, swaps em protocolos DeFi, idas e voltas entre cadeias, depósitos em exchanges custodiais e mixers, e até ataques de “address poisoning” (envio de transações-isca para confundir o rastreamento). Regras conservadoras definem onde a cadeia de evidência para de forma inequívoca, e o grafo resultante dessas regras se torna o gabarito contra o qual o agente é avaliado — ou seja, não existe “resposta certa” arbitrária, só a que os próprios registros do ledger sustentam.
O diferencial do harness ABF proposto pelos autores é a memória de trabalho dedicada ao acúmulo de evidências already-citadas, o que o diferencia de agentes de uso geral. Os números comparativos são o dado mais informativo do artigo: o harness especializado atinge 75% de recall de arestas da cadeia de custódia de fundos, contra 47% do Codex (mesmo modelo subjacente) e apenas 10% do Claude Code — e a causa apontada para esse desempenho inferior do Claude Code é reveladora para quem constrói agentes periciais: excesso de confiança, citando registros de ledger que na verdade nunca recuperou, uma espécie de “alucinação de evidência” particularmente grave em contexto investigativo onde cada afirmação deveria ser rastreável.
Comparado a rastreadores de ordem fixa (algoritmos tradicionais e determinísticos de tracing), o harness identificou serviços custodiais não declarados em 89% dos casos, contra 0% dos tracers fixos, com 98% de fidelidade — um indício de que agentes com raciocínio flexível podem reconhecer padrões de intermediação que heurísticas fixas simplesmente não contemplam. Por outro lado, o estudo documenta uma limitação prática relevante: agentes de IA tendem a parar de investigar prematuramente em casos grandes e complexos, perdendo recall justamente onde a investigação ficaria mais difícil — um viés que qualquer equipe de perícia de ativos digitais avaliando ferramentas de IA para apoiar investigações de lavagem precisa calibrar manualmente antes de confiar no resultado.