画面不言自明。布法罗大学的计算机科学家、深度伪造专家吕思维(音译)用他的检测算法错误地归类为假的数百张脸制作了一张拼贴照片，而新的构图显然主要是深色的肤色。

“检测算法的准确性应该在统计上独立于种族等因素，”Lyu说，“但显然，许多现有的算法，包括我们自己的算法，都继承了偏见。”

UB信息完整性中心联席主任Lyu博士和他的团队现在已经开发出他们认为是有史以来第一个专门设计用于减少偏见的深度假检测算法。

他们的两种机器学习方法——一种让算法意识到人口统计数据，另一种让算法对人口统计数据视而不见——减少了种族和性别之间准确性的差异，同时，在某些情况下，仍在提高整体准确性。

这项研究发表在arXiv预印本服务器上，并在1月4日至8日举行的计算机视觉应用冬季会议(WACV)上发表。

该研究的资深作者Lyu与他以前的学生Shu Hu博士(现为印第安纳大学-普渡大学印第安纳波利斯分校计算机和信息技术助理教授)以及George Chen博士(卡内基梅隆大学信息系统助理教授)合作。其他贡献者包括UB吕氏媒体法医实验室的博士生闫菊和博士后研究员单佳。

该研究的第一作者Ju表示，检测工具通常比它们所检查的人工智能工具受到的审查要少，但这并不意味着它们也不需要承担责任。

“深度造假对社会造成了如此大的破坏，以至于研究界急于找到解决方案，”她说，“但即使这些算法是为了一个很好的理由而设计的，我们仍然需要意识到它们的附带后果。”

人口统计意识vs人口统计不可知论者

最近的研究发现，在不同种族之间，深度伪造检测算法的错误率存在巨大差异——一项研究的错误率高达10.7%。特别是，研究表明，有些人比深肤色的人更善于猜测浅肤色的人的真实性。

这可能会导致某些群体更有可能被认为他们的真实形象是假的，或者更有害的是，他们的真实形象被认为是伪造的。

问题不一定是算法本身，而是它们被训练的数据。纽约州立大学工程与应用科学学院计算机科学与工程系的纽约州立大学帝国教授Lyu说，中年白人男性在这类照片和视频数据集中的代表性往往过高，因此算法更擅长分析他们，而不是代表性不足的群体。

“假设一个人口统计群体的数据集中有1万个样本，而另一个群体只有100个样本。该算法将牺牲小组的准确性，以尽量减少大组的错误，”他补充道。“所以它减少了总体错误，但牺牲了较小的群体。”

当其他研究试图使数据库在人口统计上更加平衡时——这是一个耗时的过程——lyu说他的团队的研究是第一次尝试真正提高算法本身的公平性。

为了解释他们的方法，Lyu用了一个类比，用学生的考试成绩来评价老师。

他说:“如果一个老师有80个学生表现好，20个学生表现差，他们的平均成绩仍然很好。”“因此，我们希望给中间的学生一个加权平均，迫使他们更多地关注每个人，而不是主导群体。”

首先，他们的人口统计学方法为算法提供了数据集，这些数据集标记了受试者的性别——男性或女性——以及种族——白人、黑人、亚洲人或其他——并指示算法在代表性较弱的群体上尽量减少错误。

Lyu说:“我们实际上是在告诉算法，我们关心的是整体表现，但我们也希望保证每组的表现都能达到一定的阈值，或者至少只比整体表现低这么多。”

然而，数据集通常没有种族和性别标签。因此，该团队的人口统计不可知方法对深度伪造视频进行分类，不是基于受试者的人口统计数据，而是基于视频中人眼无法立即看到的特征。

“也许数据集中的一组视频对应于一个特定的人口统计群体，或者它可能对应于视频的其他一些特征，但我们不需要人口统计信息来识别它们，”Lyu说。“这样，我们就不必精心挑选应该强调哪些群体。这一切都是自动化的，基于哪些群体构成了中间的数据。”

提高公平性和准确性

该团队使用流行的face取证++数据集和最先进的异常检测算法测试了他们的方法。这提高了所有算法的公平性指标，比如种族间的误报率相等，其中人口统计感知方法表现最好。

最重要的是，Lyu说，他们的方法实际上提高了算法的整体检测精度——从91.49%提高到高达94.17%。

然而，当使用不同数据集的Xception算法和使用不同算法的FF+数据集时，这些方法虽然仍然提高了大多数公平性指标，但会略微降低总体检测精度。

“在性能和公平性之间可能会有一个小小的权衡，但我们可以保证性能下降是有限的，”Lyu说。“当然，偏见问题的根本解决方案是提高数据集的质量，但就目前而言，我们应该将公平性纳入算法本身。”

更多信息:闫菊等，提高深度造假检测的公平性，arXiv(2023)。DOI: 10.48550/ arXiv .2306.16635期刊信息:arXiv由布法罗大学提供引文:团队开发了一种新的deepfake检测器，旨在减少偏差(2024年，1月16日)检索自2024年1月16日https://techxplore.com/news/2024-01-team-deepfake-detector-biased.html此文档受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。

点击分享到