Quando investigadores de IA não podem confiar em suas próprias ferramentas: verificação de evidências para investigação de ameaças cibernéticas
Um artigo acadêmico recém-publicado no arXiv (cs.CR) examina o que acontece quando agentes baseados em LLM triam alertas de segurança combinando as saídas de múltiplos detectores sem verificar se essas fontes são confiáveis entre si. Usando o dataset CIC-IDS2017 corrigido, os autores mostram que corromper apenas um de quatro detectores já é suficiente para destruir a acurácia da triagem automatizada, e propõem um mecanismo de verificação cruzada (CAV) que recupera boa parte dessa acurácia a baixo custo computacional.
O artigo "When AI Investigators Cannot Trust Their Tools" parte de uma observação simples, mas pouco explorada: pipelines de triagem de incidentes cada vez mais usam agentes LLM para consolidar o veredito de várias ferramentas de detecção (equivalentes a EDR, IDS ou feeds de threat intel), tratando essas ferramentas implicitamente como testemunhas confiáveis. Os autores investigam o que ocorre quando essa confiança é quebrada — ou seja, quando uma ou mais dessas ferramentas emitem rótulos errados, com confiança inflada, de forma persistente ou intermitente.
Metodologicamente, o estudo usa quatro detectores heterogêneos rodando sobre o CIC-IDS2017 corrigido (uma versão revisada do dataset clássico de tráfego de rede com ataques rotulados), corrompendo sistematicamente de um a três desses detectores e variando a persistência e a confiança associada às saídas erradas. A proposta central, CAV (Conflict-Aware Evidence Verification), combina três peças relativamente simples: uma votação de peso igual que ignora a confiança autorreportada pelas ferramentas, um "portão" que identifica quando há conflito suficiente entre as fontes para justificar verificação adicional, e um canal independente baseado em vizinho mais próximo que reavalia os candidatos mais prováveis sem depender dos detectores originais. Todo o esquema foi testado em LLMs abertos de 3B a 14B parâmetros.
Os números são expressivos: sem verificação, um único detector corrompido já derruba a acurácia da triagem ingênua para a faixa de 0,50–0,72, e três detectores corrompidos a reduzem a 0,13 ou menos, com até 63% dos fluxos resultando em abstenção por simples discordância entre fontes honestas. Com o CAV ativado, a acurácia sobe para 0,84–0,88 nos mesmos cenários de corrupção severa, e o custo extra é baixo: o LLM de verificação só precisa ser chamado em 0,4% do tráfego limpo, o que torna o mecanismo viável em produção quando a maioria das fontes ainda está íntegra.
A relevância prática para quem trabalha com resposta a incidentes e investigação assistida por IA está no ponto cego que o artigo expõe: tratar ferramentas automatizadas de detecção como fontes infalíveis de evidência é um pressuposto frágil, pois essas ferramentas podem estar desatualizadas, mal calibradas ou — em um cenário mais preocupante — deliberadamente manipuladas por um atacante que conhece o pipeline de detecção da vítima. O recado dos autores, de que "a confiança se desloca da ferramenta para o mecanismo de verificação, que por sua vez precisa ser medido e protegido", é diretamente aplicável à construção de copilotos forenses e de SOC que agregam múltiplas fontes de evidência: validação cruzada e desconfiança estrutural de qualquer fonte única deveriam ser parte do desenho, não um acréscimo posterior.