Benchmark DFIR-Metric expõe os limites dos LLMs na perícia digital
Um novo conjunto de avaliação com 500 casos reais de disco e memória do NIST, 700 questões e 150 desafios estilo CTF mede o quanto modelos de linguagem realmente ajudam na forense digital — e revela que, em tarefas periciais complexas, a acurácia dos modelos ainda beira zero.
O DFIR-Metric chega para responder com dados uma pergunta que o mercado vinha respondendo com entusiasmo: modelos de linguagem já servem para trabalho pericial? O benchmark combina três frentes — 700 questões de conhecimento revisadas por especialistas, 150 desafios práticos no estilo CTF e 500 casos de perícia de disco e memória derivados do programa CFTT do NIST, o mesmo que valida ferramentas forenses tradicionais.
A escolha de usar casos do NIST é o que dá peso ao resultado. Não se trata de perguntar teoria ao modelo, e sim de colocá-lo diante do tipo de artefato que um perito encontra num exame real. Nos cenários complexos, a acurácia dos 14 modelos avaliados despenca — daí a proposta de uma métrica de "compreensão da tarefa", capaz de diferenciar modelos mesmo quando todos erram a resposta final.
Para o laboratório, a leitura é dupla. LLMs já são úteis como aceleradores — triagem de perguntas, rascunho de relatório, apoio de estudo — mas os números não sustentam delegar análise pericial a eles. Quem pretende citar IA em laudo precisa saber exatamente onde ela falha; benchmarks como este são o começo desse mapa.