Estudo avalia confiabilidade de laudos forenses de Android gerados por LLM

O estudo "Evidence-Grounded LLM-Assisted Android Mobile Forensic Reporting" testou três LLMs de uso geral (Gemini, Llama e Qwen) na tarefa de redigir laudos de forense móvel a partir de evidências extraídas de dois casos controlados: um dataset público de um Android 13 com 27 fatos previamente autorizados pelos pesquisadores, e um dispositivo físico LG configurado deliberadamente como "zero-reportable-fact boundary" — ou seja, um caso em que nenhuma conclusão deveria ser reportada, servindo como teste de controle negativo para medir alucinação.

Os seis laudos aceitos (dois por modelo) foram decompostos em 612 alegações atômicas e confrontados contra autoridades fixas e revisadas por humanos, usando cinco etapas: rotulação de conteúdo, validação de citações, análise de recall de fatos, reconferência independente e resolução de disputas. O resultado final classificou as alegações em 424 suportadas, 163 sem suporte, 4 contraditórias, 4 exageradas/incompletas e 17 excluídas. No caso público, os três modelos recuperaram os 27 fatos autorizados, mas a qualidade das citações variou de forma drástica: Gemini validou 168 de 189 citações exigidas, Qwen 145 de 189, e Llama não validou nenhuma das 135 exigidas. No caso do dispositivo físico com limite zero de fatos reportáveis, os modelos ainda assim geraram 65 alegações, das quais 38 ficaram sem suporte e uma foi contraditória.

Tecnicamente, o achado central é que recall completo de fatos e citações aparentemente corretas não implicam que a alegação esteja de fato ancorada na evidência original — um modelo pode citar um artefato real (um timestamp de log, um registro de SQLite, uma entrada de banco de dados de app) mas tecer ao redor dele uma interpretação que a evidência não sustenta, ou citar a fonte errada para uma afirmação correta por acaso. Isso é particularmente perigoso em laudos periciais porque a citação funciona como prova de rastreabilidade: se a citação é inválida, a cadeia de custódia probatória do próprio laudo se rompe, independentemente de a conclusão textual parecer plausível.

Na prática, o resultado é um alerta direto para qualquer laboratório de perícia digital que esteja cogitando usar LLMs para acelerar a redação de laudos a partir de extrações de ferramentas como Cellebrite, Axiom ou Autopsy: fluência textual não é sinônimo de confiabilidade evidencial, e a taxa de citações inválidas pode ser alta mesmo em modelos de ponta. O framework de avaliação por alegação atômica proposto no artigo é reaproveitável como camada de auditoria — não para automatizar o laudo, mas para detectar conteúdo não suportado antes que chegue a um tribunal, preservando o perito como autoridade decisória final sobre o que entra no documento.