Estudo mostra que LLMs falham em detectar contratos inteligentes projetados para enganar a análise forense
Pesquisadores testaram 22 modelos de linguagem contra 13 contratos inteligentes construídos deliberadamente para disfarçar mecanismos de drenagem de fundos, em um cenário que simula forense de bytecode em investigações de blockchain. O resultado: técnicas de camuflagem simples derrubaram a taxa de detecção em 20 pontos percentuais, e apenas 5 dos 22 modelos ultrapassaram 50% de acerto.
O trabalho, batizado de "The Deception Delta", ataca um uso que já se tornou comum na prática: analistas recorrendo a LLMs para interpretar bytecode de contratos inteligentes não verificados, quando o código-fonte não está disponível publicamente. Os autores construíram 13 contratos de teste, sendo 9 com "vetores de decepção" — técnicas propositalmente pensadas para confundir a leitura automática do código — e 4 contratos de controle funcionalmente equivalentes, mas sem disfarce. Rodando 22 modelos de ponta contra esses contratos com seis estratégias diferentes de prompt, geraram 8.528 execuções válidas, avaliadas por um pipeline de LLM-as-judge calibrado e checado manualmente contra 50 rótulos padrão-ouro.
As técnicas de camuflagem que mais funcionaram foram estruturais, não semânticas: encadear a lógica maliciosa em múltiplas chamadas indiretas (multi-hop), mascarar seletores de função com operações XOR, e carregar os parâmetros do drenamento de fundos a partir de slots de armazenamento em vez de deixá-los explícitos no bytecode. Esse tipo de ofuscação já é conhecido em auditoria manual de contratos, mas o achado mais relevante do artigo é comportamental: em muitos casos os modelos descreviam corretamente o mecanismo escondido linha a linha, mas ainda assim aceitavam a narrativa (o comentário, o nome de função, a documentação) apresentada pelo contrato e concluíam, de forma incorreta, que o comportamento era benigno — um efeito que os autores chamam de "racionalização".
Isso importa na prática porque perícia de blockchain está cada vez mais dependendo de ferramentas assistidas por IA para triagem inicial de contratos suspeitos, especialmente em casos de exploits de DeFi e rug pulls, onde o volume de bytecode não verificado é grande demais para revisão manual completa. O estudo mostra que, sob um protocolo realista de uma única passada de análise sem ferramentas auxiliares, nenhum modelo isolado deveria ser tratado como perito confiável — o resultado é sensível à forma como o contrato se apresenta, não apenas ao que ele de fato executa.
Os próprios autores fazem a ressalva importante: a conclusão vale para o cenário "single-shot, raw-bytecode-only", e não necessariamente se estende a fluxos de trabalho multi-turno com uso de ferramentas (decompiladores, símbolos de debug, análise estática complementar), que é como a perícia profissional de contratos normalmente já opera. Ainda assim, o resultado é um alerta direto para quem está automatizando triagem forense de blockchain com LLMs sem validação humana em contratos adversariais.