tema

#benchmark

3 publicações marcadas com esta tag.

panoramaAD-2026-122 · 2026-08-13

SRE-Bench expõe limites de agentes de IA na engenharia reversa de binários reais

Pesquisadores construíram do zero, com mais de 5.000 horas de trabalho de especialistas em engenharia reversa, um benchmark livre de contaminação com 19 programas privados de escala real e 44 primitivas anti-análise proprietárias, gerando 262 binários e 1.572 tarefas avaliadas de forma determinística. O modelo mais forte testado resolveu completamente apenas 31,5% das instâncias, evidenciando que a forte capacidade de LLMs em análise de código-fonte não se transfere para análise binária.

#artigo-cientifico #engenharia-reversa #malware #benchmark #analise-de-binarios

Fonte ↗

panoramaAD-2026-110 · 2026-08-05

Benchmark FakeI2V-Bench expõe limites de detectores de deepfake em vídeo e propõe ponte para reaproveitar detectores de imagem

Um novo benchmark com 97.548 vídeos gerados por modelos recentes avalia oito detectores de deepfake em nível de vídeo e doze em nível de imagem, mostrando que os detectores de imagem já rivalizam com os de vídeo (80,16% vs 79,99% de AUC). Os autores propõem o IV-Bridge, um agregador estatístico baseado em random forest que combina previsões quadro a quadro e eleva a acurácia para até 93,80% de AUC.

#artigo-cientifico #deepfake #forense-de-midia #deteccao-de-video-sintetico #benchmark

Fonte ↗

panoramaAD-2026-001 · 2025-05-26

Benchmark DFIR-Metric expõe os limites dos LLMs na perícia digital

Um novo conjunto de avaliação com 500 casos reais de disco e memória do NIST, 700 questões e 150 desafios estilo CTF mede o quanto modelos de linguagem realmente ajudam na forense digital — e revela que, em tarefas periciais complexas, a acurácia dos modelos ainda beira zero.

#dfir #llm #benchmark #memoria

Fonte ↗