Estudo expoe falhas metodologicas na deteccao de C2 criptografado por machine learning
Pesquisadores testaram, em 17.577 fluxos TLS extraidos de 62 capturas reais de Cobalt Strike, a hipotese comum de que combinar metadados de fluxo com fingerprints de handshake TLS melhora a deteccao de trafego de comando e controle (C2). Ao remover vazamentos de dados presentes em avaliacoes anteriores, encontraram que o ganho real da fusao e minimo e que, sob ataque adversarial, todos os modelos testados perdem para um baseline trivial.
O artigo "Multi-View Fusion for Encrypted C2 Detection" analisa um problema pratico de resposta a incidentes: como identificar trafego de comando e controle (C2) escondido dentro de conexoes TLS legitimas, usando apenas metadados (sem quebrar a criptografia). Os autores reuniram 17.577 fluxos TLS extraidos de 62 capturas reais geradas com o framework Cobalt Strike -- amplamente usado tanto em red team quanto por atacantes reais -- e reavaliaram a premissa comum na literatura de que combinar estatisticas de fluxo com fingerprints de handshake TLS (como JA3/JA3S) produz deteccao mais robusta que qualquer visao isolada.
O achado central e metodologico. Os autores identificaram tres fontes de vazamento de dados que inflavam artificialmente os resultados reportados em trabalhos anteriores. Primeiro, um erro comum de pre-processamento -- calcular o encoding de frequencia sobre o dataset inteiro antes da divisao em folds de validacao cruzada, em vez de dentro de cada fold -- por si so inflava o F1-score em 0,28 pontos, dez vezes maior que qualquer efeito real medido no estudo. Segundo, como os rotulos e as features comportamentais dependem fortemente do endereco IP de destino, os 17.577 fluxos na verdade formam apenas 2.132 grupos independentes; a taxa de positivos aparente de 55,1% cai para 4,2% quando contada por endpoint, revelando que o equilibrio de classes aparente era um artefato da forma de contagem, nao da tarefa real. Terceiro, 32% das capturas (20 de 62) nao continham nenhum fluxo TLS para enderecos C2 conhecidos -- uma lacuna real no ground truth, confirmada manualmente pelos pesquisadores, e nao um erro de rotulagem.
Apos corrigir esses vazamentos, o ganho da fusao multi-view sobre a melhor visao isolada cai para apenas 0,022 em F1 -- marginal frente ao que a literatura anterior sugeria. Mais grave: em um cenario adversarial em que o atacante forja simultaneamente as duas superficies de features (estatisticas de fluxo e fingerprint TLS), todos os modelos avaliados tiveram desempenho pior do que um baseline trivial que sempre prediz positivo (F1 = 0,711).
Para equipes de resposta a incidentes e blue teams, a mensagem pratica e de cautela: metricas de deteccao de C2 publicadas em benchmarks academicos podem estar superestimadas por falhas sutis de avaliacao (vazamento entre treino/teste, agrupamento por destino, rotulagem incompleta), e um detector que parece robusto em laboratorio pode falhar diante de um adversario que adapta deliberadamente seu fingerprint TLS e padroes de trafego -- um cenario realista para operadores de C2 que hoje customizam profiles de Cobalt Strike e ferramentas equivalentes justamente para evadir esse tipo de deteccao. O estudo reforca que, em seguranca ofensiva/defensiva baseada em ML, o desenho da avaliacao (como os folds sao construidos, como os dados sao agrupados, se o ground truth e completo) e tao importante quanto o modelo em si.