Estudo mostra que classificação direta por LLM supera avaliação de "alegações" na triagem pericial de malware
Pesquisadores apresentam o MARS, um framework que compara dois modos de usar LLMs na triagem de malware — veredito direto versus pontuação de alegações comportamentais por regras externas — testando 1.195 binários PE e ELF com seis modelos de linguagem. A classificação direta se mostrou mais precisa e com melhor recall de alertas maliciosos em quase todas as combinações avaliadas.
O trabalho MARS (Malware Analysis with Rule-Based Scoring of LLM Claims) investiga uma questão prática para quem usa LLMs como apoio à triagem pericial de malware: é melhor pedir ao modelo um veredito direto (malicioso/benigno) ou pedir que ele descreva comportamentos observados ("claims") e deixar uma política determinística externa julgar essas alegações? A motivação é que a segunda abordagem promete maior auditabilidade — as alegações ficam registradas e podem ser revisadas ou repontuadas sem chamar o modelo de novo — mas isso tem custo de desempenho.
Metodologicamente, os autores usaram o mesmo coletor de evidências estáticas e os mesmos pacotes de evidência para cada amostra, isolando a variável de interesse (modo de resposta do modelo) de outros fatores de pipeline. O dataset reúne 1.195 binários PE e ELF agrupados em 1.001 clusters de quase-duplicatas, testados contra seis modelos de linguagem distintos e uma linha de base de regras determinísticas. Os resultados são consistentes: a classificação direta superou a pontuação de alegações em todos os seis modelos, com vantagem de acurácia entre 3,7 e 20,9 pontos percentuais (intervalos de confiança bootstrap acima de zero), além de melhor recall de alertas maliciosos em dez das doze combinações de modelo e plataforma avaliadas.
A implicação prática para quem opera triagem de malware assistida por IA em laboratório pericial é direta: se o objetivo é apenas obter um veredito confiável, pedir a classificação direta ao modelo tende a funcionar melhor do que arquiteturas intermediárias baseadas em alegações. Por outro lado, o estudo nota que as alegações retidas continuam tendo valor para inspeção e revisão de política sem precisar reconsultar o modelo, e que evidência textual bruta supera as alegações geradas pelo modelo na tarefa de identificação de família de malware — ou seja, o texto de evidência original ainda é insumo mais confiável que o resumo produzido pela IA. Para times forenses que avaliam incorporar LLMs à triagem de grandes volumes de binários, o estudo é um contraponto útil ao entusiasmo em torno de pipelines "explicáveis" baseados em alegações: a explicabilidade tem custo de acurácia que precisa ser medido, não assumido.