SRE-Bench expõe limites de agentes de IA na engenharia reversa de binários reais
Pesquisadores construíram do zero, com mais de 5.000 horas de trabalho de especialistas em engenharia reversa, um benchmark livre de contaminação com 19 programas privados de escala real e 44 primitivas anti-análise proprietárias, gerando 262 binários e 1.572 tarefas avaliadas de forma determinística. O modelo mais forte testado resolveu completamente apenas 31,5% das instâncias, evidenciando que a forte capacidade de LLMs em análise de código-fonte não se transfere para análise binária.
A engenharia reversa de binários é etapa central em boa parte da perícia de malware e da análise forense de amostras suspeitas, já que grande parte do software mais relevante para segurança — malware, firmware, aplicações proprietárias — só está disponível como binário, exigindo recuperação de semântica do programa antes de qualquer análise significativa. O artigo apresentado, SRE-Bench, ataca um problema metodológico real na avaliação de agentes de IA nessa tarefa: benchmarks anteriores corriam o risco de contaminação, ou seja, os modelos podiam ter visto o código-fonte de exemplos de teste durante o treinamento e 'reconhecer' a resposta em vez de realmente analisá-la.
Para resolver isso, a equipe construiu 19 programas privados do zero, com média de 16.900 linhas de código cada — escala comparável a software real — e desenvolveu 44 primitivas anti-análise próprias (técnicas de ofuscação, anti-debugging e proteção que dificultam a engenharia reversa automatizada). Combinando essas primitivas com os programas-base, geraram 262 instâncias binárias distintas e 1.572 tarefas com critérios de avaliação determinísticos, o que permite comparar objetivamente diferentes modelos e agentes.
Os resultados, avaliando cinco LLMs de fronteira, mostram que a engenharia reversa continua sendo um problema em grande parte não resolvido para agentes de IA: o modelo com melhor desempenho atingiu 61,4% de acerto por instância em média, mas resolveu completamente apenas 31,5% dos casos. Um achado técnico notável é que os agentes se mostraram relativamente insensíveis a otimizações de compilador e a linkagem estática — dois fatores que, na prática de perícia de malware, mudam substancialmente a dificuldade de uma análise, o que sugere que os modelos ainda não desenvolveram uma representação robusta desses efeitos.
A relevância prática para quem atua em resposta a incidentes e perícia de malware é dupla: por um lado, o estudo confirma que ferramentas baseadas em LLM ainda não substituem um analista humano experiente na engenharia reversa de amostras reais e ofuscadas; por outro, o benchmark em si — por ser livre de contaminação e ter escala realista — se torna um recurso valioso para avaliar de forma honesta qualquer ferramenta de IA que um laboratório forense considere adotar como apoio à triagem de binários suspeitos, evitando decisões de compra baseadas em números inflados por contaminação de dados de treino.