近日，我校信息科学技术学院余梓彤助理教授指导（唯一通信作者）的文章“Detect Any Deepfakes: Segment Anything Meets Face Forgery Detection and Localization”被中国生物特征识别大会（Chinese Conference on Biometrics Recognition, CCBR）2023收录为口头报告（Oral Presentation），并在大会开幕式上被授予IAPR最佳学生论文奖。该论文提出了业界首个基于分割一切SAM视觉大模型的人脸深度伪造检测与定位的框架，在媒体安全与取证理论方面取得了巨大突破，论文已开源于 https://github.com/laiyingxin2/DADF。
图1：IAPR最佳学生论文奖获奖证书
计算机视觉领域的迅猛发展推动了人脸伪造技术的显著进步，引起了一群致力于检测伪造并精确定位篡改区域的研究人员的浓厚兴趣。然而，由于受限于有限的细致像素级监督标签，深度伪造检测模型在精确伪造检测和定位方面表现不尽如人意。为了应对这一挑战，该论文引入了经过充分训练的视觉分割基础模型，即Segment Anything Model（SAM），用于人脸伪造检测和定位。在SAM的基础上，论文提出了Detect Any Deepfakes（DADF）框架，结合Multiscale Adapter，能够捕捉短程和远程的篡改区域，以进行高效微调。此外，为了更精准地识别伪造迹象并增强模型对伪造区域的敏感性，论文引入了Reconstruction Guided Attention（RGA）模块，提出的框架巧妙地融合了端到端的伪造定位和检测优化中。
图2：论文提出的 DADF 框架
多尺度微调模块
首先，论文冻结SAM编码器的主要参数——即Transformer层，再引入可学习的特定模块Multiscale Adapter，以在多尺度方式下捕捉不同感知场域的伪造线索，从而解决有限数据规模的挑战。具体步骤如下：
将输入图像通过Patch Embedding层把图片标记化为视觉标记，采用默认的14×14补丁大小。在每个Transformer层中插入Multiscale Adapter模块，在Multiscale Adapter模块中通过1×1卷积将输出特征分为三个分支，每个分支采用不同的卷积核大小和扩张率。通过可学习的线性任务头，将多尺度微调层获得的上下文特征映射到任务感知的伪造特征。同时，论文还对Multiscale Adapter模块进行了深入探索，包括三个变种——Multiscale Adapter-B、Multiscale Adapter-C、Multiscale Adapter-D，以更全面地了解在不同情境下多尺度性能的表现。
为了增强对深度伪造区域的敏感性并探索真实人脸的共同和紧凑特征模式，论文提出了一种称为重建引导关注（RGA）的重建学习方法。在训练过程中，论文通过在真实人脸上引入白噪声来模拟伪造的人脸。基于这些嘈杂的输入，模型逐渐进行特征重建，得到重建特征。在图像编码器进行特征重建后，计算原始特征和重建特征之间的绝对差异。随后，使用1×1卷积用于突显和增强可能包含伪造的区域。然后，与Softmax函数层级联，生成了感知伪造的关注热图。最后，通过获得的关注权重和原始特征进行基于元素的乘法改进操作得到最终的特征，然后传递给mask decoder。在训练阶段，RGA模块利用异常模拟的人脸作为输入之一，并逐渐恢复真实人脸的内在特征。通过这个重建过程，SAM模型可以更好地理解真实人脸的共同和紧凑特征模式，甚至在推理阶段更加关注未知的伪造区域。
图3：人脸伪造定位结果展示
图4：人脸伪造定位结果可视化
余梓彤课题组未来的研究方向包括SAM在处理连续帧视频时的应用。虽然SAM在定位伪造方面表现出色，但在全局分类方面仍有一些不足。该项目已经开源，这为研究者提供了进一步探索和改进的机会。
个人及课题组介绍
余梓彤，信息科学技术学院助理教授，博士毕业于芬兰奥卢(Oulu)大学，2023年2月加入大湾区大学（筹），入选2023全球前2%顶尖科学家榜单。课题组主要研究方向为“以人为本”的计算机视觉和可信媒体计算。课题组诚聘访问学生、联培研究生、研究助理和博士后研究人员。具体事宜欢迎垂询。邮箱：yuzitong@gbu.edu.cn。个人主页https://zitongyu.github.io/。
