SecLog-Bench mede (e expõe limites de) LLMs na reconstrução de ataques a partir de logs de segurança
O SecLog-Bench é um benchmark com 29 cenários de ataque simulados que combina logs de auditoria, de aplicação e de tráfego de rede, anotados com uma cadeia de evidências estruturada passo a passo, para avaliar se LLMs conseguem reconstruir a progressão de um ataque após a detecção inicial. Testando oito modelos mainstream, os autores encontram desempenho modesto (melhor acurácia de 44,44%, Macro-F1 de 45,07%, e apenas 54,87% de F1 no raciocínio por estágio), com casos frequentes de previsão correta acompanhada de raciocínio incorreto.
Fonte ↗