Dataset estruturado de inteligência de ameaças usa entidades STIX 2.1 e mapeamento para o MITRE ATT&CK
Pesquisadores construíram manualmente um dataset com 150 relatórios de cyber threat intelligence representados como grafos STIX 2.1, totalizando 4.777 entidades e 5.817 relações, com 1.273 padrões de ataque mapeados para 269 técnicas e subtécnicas do MITRE ATT&CK Enterprise. O trabalho também avalia se LLMs locais conseguem atuar como "juízes" automatizados na extração dessas informações, comparando-os a um gabarito validado por dois pesquisadores humanos.
Relatórios de cyber threat intelligence (CTI) são tipicamente escritos em texto livre e não estruturado — PDFs de fornecedores de segurança, blogs de pesquisa, boletins de CERTs — o que dificulta extrair de forma consistente entidades como atores de ameaça, indicadores de comprometimento e técnicas de ataque para alimentar bases estruturadas usadas por SOCs e times de DFIR. O artigo ataca esse problema construindo, de forma manual e cuidadosa, um dataset de referência: 150 relatórios convertidos em grafos no padrão STIX 2.1, com 4.777 entidades e 5.817 relações extraídas, incluindo 1.273 padrões de ataque mapeados para 269 técnicas e subtécnicas distintas do MITRE ATT&CK Enterprise.
A qualidade do gabarito foi verificada com uma amostra de 25 relatórios anotados de forma independente por dois pesquisadores de segurança, com concordância entre avaliadores classificada como substancial e as divergências resolvidas por arbitragem — um cuidado metodológico que dá credibilidade ao dataset como referência ("gold standard") para comparação. Em seguida, os autores testaram quatro LLMs open-source rodando localmente como "juízes" automatizados, tentando reproduzir a extração de entidades/relações feita pelos humanos; o modelo Qwen3.6:27B teve o melhor desempenho, com kappa máximo de 0,803, F1-micro acima de 92% e taxa de falsos positivos abaixo de 5%.
Para quem trabalha com resposta a incidentes e inteligência de ameaças, esse tipo de benchmark tem valor prático concreto: hoje, transformar um relatório de CTI em grafo de conhecimento estruturado (para correlacionar com outros incidentes, alimentar um SIEM ou mapear cobertura de detecção contra o ATT&CK) é trabalho manual demorado. Um dataset de referência confiável permite avaliar objetivamente se ferramentas de automação baseadas em LLM estão prontas para apoiar — não substituir — esse trabalho, o que é reforçado pelo próprio resultado: mesmo o melhor modelo ainda erra em uma fração não trivial dos casos, o que os autores traduzem na conclusão de que a validação humana continua sendo indispensável antes de qualquer uso operacional sem supervisão.