SecLog-Bench mede (e expõe limites de) LLMs na reconstrução de ataques a partir de logs de segurança
O SecLog-Bench é um benchmark com 29 cenários de ataque simulados que combina logs de auditoria, de aplicação e de tráfego de rede, anotados com uma cadeia de evidências estruturada passo a passo, para avaliar se LLMs conseguem reconstruir a progressão de um ataque após a detecção inicial. Testando oito modelos mainstream, os autores encontram desempenho modesto (melhor acurácia de 44,44%, Macro-F1 de 45,07%, e apenas 54,87% de F1 no raciocínio por estágio), com casos frequentes de previsão correta acompanhada de raciocínio incorreto.
O problema que o SecLog-Bench ataca é central para resposta a incidentes: depois que um alerta dispara, o analista precisa correlacionar múltiplas fontes de log — auditoria do sistema, logs de aplicação, tráfego de rede — para reconstruir a linha do tempo do ataque e decidir o que aconteceu antes e depois da detecção. Hoje esse trabalho é majoritariamente manual, e há crescente interesse em usar LLMs para acelerar essa reconstrução, mas faltavam benchmarks realistas para medir se esses modelos realmente têm essa capacidade de raciocínio investigativo.
A plataforma simula 29 cenários de ataque distintos, de forma repetível e extensível, e gera logs multi-fonte com rótulos de estágio de ataque. O diferencial metodológico é anotar cada amostra com o contexto necessário e uma cadeia de evidências estruturada — ou seja, não apenas qual foi o ataque, mas o passo a passo lógico que leva da evidência bruta à conclusão, permitindo avaliar separadamente a acurácia da resposta final e a qualidade do raciocínio que levou até ela (métrica chamada Stage Reasoning F1).
Os resultados são um alerta prático: mesmo oferecendo aos modelos evidências já organizadas (scaffolded evidence), o melhor LLM entre os oito testados atinge apenas 44,44% de acurácia e 45,07% de Macro-F1 em classificar corretamente o estágio do ataque, e a qualidade do raciocínio (SRF1) fica ainda mais baixa, em 54,87%. Mais preocupante: os autores observam que respostas corretas às vezes vêm acompanhadas de raciocínio falho, e que a qualidade do raciocínio nem sempre está alinhada com a acurácia da previsão — ou seja, um LLM pode acertar por acaso seguindo uma lógica investigativa equivocada.
Para quem avalia ferramentas de triagem automatizada em SOCs e equipes de IR, a conclusão prática é de cautela: LLMs ainda não devem ser tratados como substitutos confiáveis do raciocínio forense humano na reconstrução de ataques multi-estágio a partir de logs, mesmo em cenários com evidência bem estruturada e contextualizada. Isso é especialmente relevante à medida que vendors começam a oferecer copilotos de investigação baseados em LLM — o benchmark oferece uma régua concreta e reproduzível para testar essas promessas antes de confiar decisões de resposta a incidentes a elas.