MODEXRE: pipeline forense une IA explicável e cadeia de custódia digital para detecção de intrusão em rede
Pesquisadores apresentam o MODEXRE, um pipeline que transforma um classificador XGBoost com explicabilidade SHAP em uma ferramenta forense de verdade: ele separa um modo 'Laboratório' (treino e certificação em dados sintéticos) de um modo 'Formal' (inferência sobre evidência real de caso, com modelo congelado e hash-verificado). O artigo documenta quatro falhas reais encontradas durante o desenvolvimento — incluindo vazamento de timestamp e um classificador binário certificado por engano quando deveria ser multiclasse — e como a correção delas mudou drasticamente os resultados em uma captura de pacotes real.
O MODEXRE parte de um problema concreto da perícia de rede: um modelo de detecção de intrusão pode funcionar bem em laboratório e ainda assim ser inútil (ou pior, enganoso) como evidência em um caso, porque benchmarks acadêmicos não garantem que o artefato de modelo aplicado em juízo seja exatamente o mesmo que foi validado, nem que cada etapa do processo seja auditável. Para resolver isso, o pipeline separa explicitamente um modo Laboratory, onde o classificador XGBoost é treinado e certificado sobre dados públicos e sintéticos, de um modo Formal, em que um modelo congelado e verificado por hash roda inferência sobre evidência real de um caso, sob uma cadeia de custódia encadeada em SHA-256 — ou seja, cada etapa de aquisição, normalização e classificação gera um hash vinculado ao anterior, permitindo provar depois que nada foi alterado entre a certificação do modelo e seu uso na perícia.
Tecnicamente, alertas do Suricata, logs CEF de firewall e capturas de pacote (pcap) são normalizados em um formato único via OCSF (Open Cybersecurity Schema Framework), o que permite que o mesmo classificador opere sobre fontes heterogêneas de evidência sem reescrever a lógica de ingestão para cada formato. Sobre esse pipeline, o artigo soma explicabilidade via SHAP, gerando uma justificativa por predição — relevante em perícia, onde um laudo precisa explicar o porquê de uma classificação, não só o resultado.
O ponto mais interessante do trabalho é metodológico: os autores relatam quatro falhas reais que só apareceram ao rodar o pipeline contra evidência de verdade, não contra benchmarks. Um vazamento de timestamp inflava artificialmente a performance do sistema Kitsune (F1-macro caiu de 0,984 para 0,662 depois da correção); uma lacuna de cobertura de features fazia um modelo de referência de 78 features classificar errado um alerta SSH real; a adoção de agregação temporal causal elevou o F1-macro multiclasse do Kitsune de 0,394 para 0,932; e, mais grave, um defeito de certificação fez com que o pipeline sempre tivesse treinado (e certificado) um classificador binário quando o objetivo era multiclasse — depois da correção, uma mesma captura de pacotes que antes marcava 100% dos eventos como maliciosos passou a classificar 87% como tráfego normal, identificando corretamente o host de varredura como reconhecimento (reconnaissance).
Na prática, isso importa porque ilustra de forma muito concreta um risco que laudos periciais baseados em IA tendem a esconder: um modelo com métricas excelentes em dataset de validação (aqui, F1-macro de 0,9538 no modelo certificado de quatro classes) pode mascarar erros sistemáticos que só emergem com evidência real e com mais granularidade de classes (o modelo recertificado para 18 categorias cai para F1-macro de 0,6214, refletindo a dificuldade real da tarefa multiclasse). Isso reforça, no contexto forense, a necessidade de versionamento e verificação de integridade do próprio modelo de ML usado como prova, e não apenas dos dados — um ponto ainda pouco discutido fora da literatura acadêmica, mas com implicação direta para a admissibilidade de laudos baseados em IA em processos judiciais.