Framework de aprendizado contínuo busca manter a localização forense de forgery em imagens atualizada contra novas técnicas
O artigo propõe o primeiro framework de aprendizado contínuo para localização de manipulação em imagens (IFL), endereçando o fato de que modelos treinados em um conjunto fixo de técnicas de forgery se degradam rapidamente quando surgem novos geradores. A solução combina roteamento espacial de "especialistas forenses", conversão de vestígios de baixo nível em prompts estruturados para o modelo Segment Anything (SAM), e uma técnica de ajuste de gradiente ponderado por informação de Fisher para evitar que o modelo esqueça forgeries antigas ao aprender as novas.
Detectores de manipulação de imagem costumam funcionar bem nos tipos de forgery vistos durante o treino, mas falham ao se deparar com técnicas de edição inéditas — e, em um laboratório forense real, os casos chegam de forma sequencial, não como um dataset estático. Os autores mostram que métodos de ponta em IFL e em aprendizado contínuo genérico sofrem queda substancial de desempenho nesse cenário realista, tanto ao mudar de dataset quanto ao mudar o tipo de conteúdo manipulado.
A proposta técnica tem duas frentes. A primeira, de extração de evidência, usa um módulo chamado Spatial Mixture-of-Forensic-Experts (SMoFE), que roteia dinamicamente diferentes "especialistas" forenses conforme a região espacial da imagem, combinado com Forensic Evidence-Guided Dense Prompting (FEGDP), que converte vestígios forenses de baixo nível (ruído de compressão, inconsistências de iluminação, artefatos de edição) em prompts estruturados que guiam o modelo de segmentação SAM a demarcar a região adulterada. A segunda frente, de retenção de conhecimento, usa Fisher-weighted LoRA Gradient (FLAG) surgery para identificar quais direções de atualização do modelo são sensíveis a tarefas antigas e suprimir atualizações que entrariam em conflito com elas, mitigando o esquecimento catastrófico sem travar a capacidade de aprender forgeries novas.
Na prática pericial, isso endereça um problema real de manutenção de ferramentas: à medida que surgem novos geradores de imagem sintética (e, por extensão, novas assinaturas de manipulação), um laboratório precisaria normalmente re-treinar do zero ou arriscar perder precisão nos casos antigos ao atualizar o modelo. Um framework que se adapta incrementalmente sem essa perda tem valor direto para a sustentabilidade de ferramentas de triagem de imagem forjada ao longo do tempo, especialmente à medida que a oferta de editores e geradores de imagem evolui mais rápido do que os ciclos de re-treinamento dos laboratórios.