TxBench cria benchmark de transações de ataque com evidências verificadas em sete blockchains EVM
TxBench é um novo benchmark que reúne 1.012 transações de ataque confirmadas por evidência, extraídas de 602 incidentes reais em sete blockchains compatíveis com EVM, totalizando US$ 868,1 milhões em valor extraído. O trabalho expõe que LLMs usados como detectores de fraude identificam no máximo 43% dos ataques e nenhum comprometimento de chave privada.
A motivação do artigo é um problema metodológico recorrente na pesquisa de detecção de transações maliciosas em smart contracts: cada estudo monta seu próprio dataset, geralmente a partir de rastreadores de incidentes cujas citações misturam ataques reais com passos de preparação e transações que nunca chegaram a ser executadas, ou então usa a saída do próprio detector que está sendo avaliado, tornando a avaliação circular. Não havia, até então, um benchmark compartilhado cujos rótulos positivos e negativos fossem validados de forma independente do detector.
Para resolver isso, os autores construíram um pipeline de cinco etapas: primeiro coletam toda transação citada pela biblioteca de incidentes da BlockSec e pelo EVM Hack Registry; depois mapeiam a vulnerabilidade explorada para a taxonomia OWASP SCWE; e então reconstroem a execução da transação usando apenas fontes de dados públicas. Uma transação só é aceita como ataque válido no benchmark se ela efetivamente extrai valor de terceiros durante a própria execução, se é consistente com todas as alegações verificáveis da fonte original, e se está independentemente vinculada ao incidente relatado por evidência corroborante — os mesmos princípios de cadeia de evidência que orientam uma investigação forense tradicional, aplicados a transações on-chain. As transações negativas (benignas) passam por um crivo equivalente antes de entrarem no conjunto.
Das 1.850 transações citadas originalmente, o pipeline aceitou 1.012 ataques vindos de 602 incidentes distintos, somando US$ 868,1 milhões em valor extraído — divididos entre 846 exploits de contrato e 166 comprometimentos de chave privada. Uma revisão cega confirmou 97,7% das amostras positivas e 100% das negativas. Ao testar quatro LLMs de prateleira como baseline de detecção sobre os traços anonimizados, os modelos se mostraram precisos quando acertavam, mas identificaram no máximo 0,43 dos ataques e nenhum caso de comprometimento de chave — um indicativo de que a análise forense de incidentes em blockchain ainda depende fortemente de investigadores humanos e ferramentas especializadas, não de LLMs genéricos lendo logs de transação.