MEvince: raciocínio de LLM restrito por evidência para mapear técnicas ATT&CK em relatórios de malware
Um novo framework chamado MEvince usa LLMs amarrados a uma representação comportamental estruturada para identificar técnicas MITRE ATT&CK em relatórios de análise de malware, em vez de deixar o modelo associar livremente texto a técnicas por plausibilidade. Avaliado contra 11 baselines em 610 relatórios públicos referenciados pelo próprio MITRE ATT&CK, o método melhorou o F1 de identificação exata em 17,4% sobre a melhor baseline. O diferencial central é rastrear cada atribuição de técnica até o trecho exato do relatório que a sustenta, o que importa diretamente para defensabilidade de conclusões em investigações.
Mapear o comportamento descrito em um relatório de malware para o catálogo de técnicas MITRE ATT&CK é hoje, em grande parte, trabalho manual de analista: a evidência relevante costuma estar espalhada por um documento longo e heterogêneo, e técnicas vizinhas no catálogo frequentemente compartilham indícios comportamentais quase idênticos, diferindo só em detalhes finos. LLMs genéricos aplicados a essa tarefa tendem a "alucinar" atribuições plausíveis sem evidência suficiente — exatamente o tipo de erro que compromete a confiabilidade de uma base de threat intelligence ou de um laudo de resposta a incidente.
O MEvince ataca isso construindo uma representação comportamental compartilhada, obtida por mineração agêntica da própria documentação das técnicas ATT&CK, que serve de ponte entre observações extraídas do relatório e as definições oficiais das técnicas. A inferência acontece em dois estágios: primeiro, a extração guiada por primitivas comportamentais estrutura o que o LLM lê no relatório, vinculando cada observação ao trecho de origem e agrupando evidências que estão espalhadas ao longo do texto; depois, a recuperação alinhada a evidências casa essas observações estruturadas com os perfis de técnica usando os mesmos conceitos comportamentais, mantendo não só o candidato mais provável mas também alternativas facilmente confundíveis, para que o LLM compare explicitamente o que as distingue. Controles de validação em ambas as etapas verificam se as referências de evidência realmente sustentam a técnica proposta.
Além do pipeline online, o framework tem uma camada de auditoria offline: agentes revisam periodicamente onde a representação comportamental está fraca e ajustam as políticas de extração e recuperação sem re-treinar o modelo — uma forma de adaptação mais barata que fine-tuning tradicional. Nos testes, contra 11 baselines de quatro famílias de métodos e usando 610 relatórios públicos referenciados pelo MITRE ATT&CK, o MEvince melhorou o F1 de identificação exata de técnica em 17,4% sobre a melhor baseline, e sua etapa de recuperação guiada por conceito elevou a cobertura de candidatos corretos (gold-label) de 31,6% para 47,9%; um pequeno conjunto de adaptação ainda gerou ganhos adicionais, superando até baselines que exigem atualização de parâmetros do modelo.
O valor prático para equipes de resposta a incidentes e threat intelligence está menos no número de F1 em si e mais no rastro de evidência: como cada técnica atribuída fica ligada ao trecho específico do relatório que a originou, um analista pode auditar e defender a atribuição em vez de confiar ciegamente na saída do modelo. Isso é relevante tanto para quem constrói bases de TTPs/IOCs a partir de relatórios de terceiros quanto para quem precisa padronizar, em grande escala, a triagem de famílias de malware — reduzindo o tempo de análise manual sem abrir mão de rastreabilidade, algo que ferramentas puramente associativas de LLM não oferecem.