Vazamento temporal no dataset Elliptic++ inflava desempenho de modelos de forense em Bitcoin
Um estudo revisita o dataset Elliptic++, citado em mais de 1.300 trabalhos acadêmicos de forense de criptomoedas, e identifica vazamento de informação futura causado por uma divisão de dados que não respeita a ordem temporal. Ao corrigir o pipeline com uma divisão estritamente temporal, o F1-score de um Random Forest na classe ilícita despenca de 0,846 para 0,291.
Elliptic e sua extensão Elliptic++ são os datasets de referência mais usados em pesquisa de forense de Bitcoin, servindo de base para treinar e avaliar modelos que tentam identificar endereços e transações ilícitas na blockchain. Os autores deste trabalho reexaminaram como as 55 características de nível de endereço do Elliptic++ são calculadas e descobriram dois problemas estruturais: a divisão posicional entre treino e teste não respeita a ordem cronológica das transações, e as definições exatas de várias features nunca foram publicadas, o que torna impossível auditar exatamente o que estava sendo medido.
Para corrigir isso, a equipe reconstruiu as definições de cada feature ligando as transações do Elliptic às informações públicas do próprio ledger do Bitcoin e, a partir daí, recalculou tudo usando uma divisão temporal baseada na primeira aparição de cada endereço — ou seja, só pode ser usada na predição a informação que estaria disponível até aquele ponto no tempo, exatamente como aconteceria em um cenário real de investigação. O resultado é drástico: sob a avaliação original (com vazamento), um Random Forest atingia F1 de 0,846 na classe ilícita; sob o pipeline corrigido, o mesmo modelo cai para 0,291 e perde até para uma regressão logística simples, evidenciando que o desempenho “forte” reportado em centenas de papers anteriores vinha majoritariamente do vazamento, não de capacidade preditiva real.
O impacto prático para quem trabalha com forense de ativos digitais e investigação financeira em blockchain é considerável: ferramentas e metodologias construídas ou validadas sobre o Elliptic++ original podem estar sobrestimando sua real capacidade de rastrear fundos ilícitos, o que tem implicações diretas para qualquer laudo, triagem automatizada ou ferramenta de compliance que dependa, direta ou indiretamente, desses benchmarks. Os autores liberam o código e as definições corrigidas de features para que futuros modelos de forense em Bitcoin sejam avaliados de forma honesta, sem vazamento temporal mascarando a real dificuldade do problema.