Benchmark expõe limites de agentes LLM ao reconstruir estrutura de bancos móveis não documentados
Um novo benchmark reprodutível avalia se agentes baseados em LLM conseguem inferir corretamente relacionamentos entre tabelas em bancos SQLite forenses sem documentação, tratando separadamente o sucesso de execução de uma consulta e a correção estrutural da inferência relacional. Usando o banco de SMS do Android e o banco do Snapchat como casos de teste, o estudo mostra que os agentes funcionam bem em esquemas regulares, mas produzem joins plausíveis e executáveis, porém estruturalmente incorretos, à medida que a irregularidade do esquema aumenta.
Fonte ↗