CyberClear: benchmark testa agentes de IA na reconstrução forense de cadeias de ataque APT
Pesquisadores apresentam o CyberClear, um benchmark que avalia se agentes baseados em LLM conseguem reconstruir campanhas completas de APT a partir de logs de segurança extensos, gerando grafos de proveniência com entidades, relações causais, técnicas MITRE ATT&CK e evidências forenses. Os sistemas multiagente mais avançados ainda erram bastante na tarefa, o que motivou a proposta de um harness complementar, o CyberProvenance, focado em acumulação de evidências e validação por execução.
O artigo parte de uma lacuna real na avaliação de agentes de IA aplicados à segurança: a maioria dos benchmarks mede se o agente encontra uma vulnerabilidade ou executa um exploit, mas quase nenhum mede se ele consegue reconstruir, de forma correta e completa, uma cadeia de ataque real a partir de evidência bruta — que é exatamente o trabalho central de um analista de resposta a incidentes ou de um perito em forense de rede. O CyberClear tenta preencher essa lacuna com casos de ataque único e de campanhas multiestágio, exigindo que o agente identifique evidências, infira a progressão do ataque e produza um grafo de proveniência mapeado a técnicas MITRE ATT&CK.
Tecnicamente, a contribuição mais interessante não é o benchmark em si, mas o método de avaliação: em vez de comparar apenas similaridade textual entre o relatório gerado e o "gabarito", os autores decompõem a qualidade da reconstrução em cinco eixos — acerto de comportamento em etapa única, identificação de comportamento multi-etapa, consistência temporal e causal, fidelidade de entidades e relacionamentos, e coerência da narrativa geral do ataque. Isso se aproxima muito mais de como um perito avalia um laudo de intrusão do que de métricas tradicionais de NLP, e é um critério que poderia ser adaptado para avaliar relatórios de IR produzidos por humanos ou por ferramentas de triagem automatizada.
O CyberProvenance, proposto como resposta ao desempenho ainda fraco dos agentes, adiciona três mecanismos: acumulação incremental de evidências ao longo da investigação, validação baseada em execução (o agente testa hipóteses rodando algo, não apenas especulando sobre o log) e refinamento guiado por feedback. Isso espelha, em software, o próprio ciclo de trabalho de um analista forense: coletar, hipotetizar, testar, corrigir.
Na prática, o interesse para quem trabalha com perícia e resposta a incidentes está em dois pontos. Primeiro, o benchmark expõe onde os LLMs falham ao correlacionar múltiplas fontes de log ao longo do tempo — exatamente o tipo de erro que já vemos hoje em copilotos de SOC que resumem alertas sem capturar a cadeia causal completa. Segundo, a metodologia de avaliação em cinco eixos é reaproveitável fora do contexto de IA: serve como checklist para julgar a qualidade de qualquer reconstrução de timeline de intrusão, humana ou automatizada, antes que ela vire prova em um laudo.