Benchmark expõe perda de rastreabilidade de agentes de IA ao investigar APTs sob telemetria variável
O APTInvestBench avalia agentes baseados em LLM investigando ameaças persistentes avançadas (APTs) em 370 casos derivados de 56 reconstruções de ataques reais, totalizando 16,4 milhões de registros de log, sob sete condições diferentes de coleta de telemetria. Em média, os agentes conseguem reunir evidência suficiente para apenas 44,3% das ações de ataque recuperáveis, mas só 25% dessas conclusões vêm acompanhadas de citação formal a registros específicos — e, ao reduzir a telemetria, boa parte das citações se perde mesmo quando a cobertura aparente dos relatórios muda pouco.
A proposta de usar agentes de LLM para apoiar SOCs na investigação de APTs parte de um problema real: transformar indícios fracos e dispersos em evidência estruturada para escopo de intrusão e resposta é um trabalho manual caro. O ponto cego identificado pelos autores é que o desempenho de um agente sob uma configuração fixa de telemetria não garante que ele continue confiável quando a coleta, retenção ou amostragem de logs muda — uma condição extremamente comum na prática, já que ambientes reais raramente mantêm telemetria completa e uniforme por todo o período de um incidente.
O benchmark é construído a partir de 56 reconstruções de ataques informadas por relatórios reais de intrusão, totalizando 16,4 milhões de registros de log, organizados em 370 casos distribuídos por sete condições de telemetria inspiradas em cenários de SOC (desde telemetria completa até, por exemplo, apenas logs de endpoint). Os agentes investigam "leads" não verificados e devem produzir relatórios com citações em nível de registro; um critério fixo de suporte por ação rastreia se há evidência suficiente disponível nos logs, nas buscas realizadas e nas citações formais apresentadas, separando limitações da própria telemetria de falhas do agente em buscar ou relatar corretamente.
Os resultados, agregando onze LLMs diferentes, mostram uma lacuna entre completude e rastreabilidade: em média os agentes acumulam evidência suficiente para 44,3% das ações de ataque recuperáveis, mas apenas 25% contam com citação formal adequada a um registro específico. Mais revelador ainda: ao restringir a telemetria de "completa" para "apenas endpoint", a cobertura média cai pouco (1,6 ponto percentual), mas 35,5% das ações que antes tinham suporte suficiente perdem a citação formal correspondente — ou seja, o agente continua produzindo um relatório com aparência de completude, só que agora apoiado em evidência mais fraca ou inexistente, mesmo quando os registros de suporte originais continuam acessíveis.
Para quem avalia o uso de IA generativa em resposta a incidentes, esse achado é um alerta direto: métricas agregadas de "cobertura" de um relatório de investigação podem mascarar perda real de cadeia de evidência quando a fonte de dados varia, algo crítico se esses relatórios alimentarem decisões de contenção, notificação ou, pior, um laudo pericial. O benchmark reforça a necessidade de auditar citações e não apenas conclusões antes de confiar em agentes autônomos para investigação de intrusões.