Benchmark expõe limites de agentes LLM ao reconstruir estrutura de bancos móveis não documentados
Um novo benchmark reprodutível avalia se agentes baseados em LLM conseguem inferir corretamente relacionamentos entre tabelas em bancos SQLite forenses sem documentação, tratando separadamente o sucesso de execução de uma consulta e a correção estrutural da inferência relacional. Usando o banco de SMS do Android e o banco do Snapchat como casos de teste, o estudo mostra que os agentes funcionam bem em esquemas regulares, mas produzem joins plausíveis e executáveis, porém estruturalmente incorretos, à medida que a irregularidade do esquema aumenta.
O trabalho parte de uma preocupação concreta para a perícia digital: cada vez mais se cogita usar agentes de LLM para reconstruir, a partir de um banco de dados bruto e um pedido investigativo em linguagem natural, como as tabelas de um aplicativo móvel se relacionam entre si — algo essencial quando o esquema não é documentado publicamente, como costuma ocorrer em apps de mensageria e redes sociais. O risco identificado pelos autores é que uma inferência estruturalmente errada pode gerar um resultado que parece plausível, mas que não tem validade probatória.
Metodologicamente, os pesquisadores separam duas dimensões de avaliação que normalmente são confundidas: se a consulta gerada pelo agente executa sem erro, e se o relacionamento (join) que ela representa está de fato correto do ponto de vista relacional, segundo um gabarito de SQL verificado por especialistas. Essa distinção é o ponto central do artigo, porque mostra que uma consulta pode rodar perfeitamente e devolver resultados coerentes mesmo estando semanticamente errada.
Os dois repositórios usados como banco de prova são deliberadamente contrastantes: o banco de SMS do Android, com identificadores estáveis e propagação previsível entre tabelas, e o banco do Snapchat, que tem esquemas irregulares, identificadores efêmeros e relacionamentos polimórficos. Nos casos com esquema regular a inferência estrutural do agente se mostrou confiável; já nos casos irregulares (como o do Snapchat) a taxa de joins estruturalmente incorretos, mas que executam com sucesso, cresce de forma acentuada.
A implicação prática para quem usa ou avalia ferramentas de análise assistida por IA em perícia móvel é direta: sucesso de execução não é sinônimo de correção estrutural, e esquemas irregulares — justamente os mais comuns em apps modernos de mensageria efêmera — são onde o risco de erro silencioso é maior. O artigo reforça a necessidade de uma camada de verificação humana ou automatizada antes que relações inferidas por agentes sejam tratadas como base confiável para conclusões periciais, especialmente em bancos com identificadores efêmeros e relacionamentos não triviais.