五角大楼在识别深度伪造技术方面的能力正在提高。国防高级研究计划局（DARPA）的语义取证计划、国防创新单位与Hive的原型合同，以及日益增长的检测工具都指向同一个方向。美国国防部已决定，信息战是一个检测问题。
他们错了——并不是说深度伪造技术不是威胁，而是关于真正的威胁在哪里。
国防部资助的检测工具是为一个敌对方生成假图像、假视频和假音频并试图将其伪装成真实的世界而构建的。这个世界确实存在。但这是问题的简单版本。更复杂的版本，出现在研究中但未体现在预算中，是上游。敌对方正在毒化国防分析师、情报平台和政策制定者依赖的人工智能模型，以便在一开始就区分真实与虚假。
尚不清楚国防部是否已经在其自身系统中遇到过这个问题。但民间研究人员已经多次记录了这一点。大西洋理事会的数字取证研究实验室和英国人工智能安全研究所都发布了证据，表明敌对内容嵌入在供广泛使用的人工智能模型训练的数据中。
自一月以来，我们一直在以色列跟踪这一情况，当时伊朗在国内动荡期间关闭了其互联网。这次关闭旨在压制抗议者，但也揭示了国家控制的信息流如何塑造人工智能模型对该地区的学习。德黑兰多年来一直在利用人工智能生成的内容进行自己的虚假信息活动。这不是推测，而是有据可查。
但这个问题远不止于伊朗。美国在该地区的盟友也有自己的信息控制。以色列限制记者进入加沙，并限制在国内工作的记者可以报道的内容。海湾国家对伊朗导弹袭击的报道进行了严格控制。甚至美国政府也施压卫星影像公司限制其发布的内容，几家公司已对此做出了回应。这些限制同样塑造了人工智能模型对该地区的学习，就像伊朗的审查制度一样。
这个问题还包括中东以外的美国对手。
在大西洋理事会的DFRLab对公共网络档案Common Crawl的审计中，研究人员发现来自普拉夫达网络的内容，这是一项亲克里姆林宫的行动，已在互联网上传播了数百万条宣传信息，直接嵌入训练数据中。来自与中国政府相关的影响行动Glassbridge和俄罗斯的RT的材料也在其中。Common Crawl没有对这些发现作出回应。一种主要的开放权重模型在提示时几乎逐字复现了这些内容。
这些系统有多脆弱？英国人工智能安全研究所和艾伦·图灵研究所的一项十月研究发现，仅需250个恶意文档就能破坏一个大型模型。一旦这些内容嵌入权重中，唯一的解决办法就是完全重新训练。代价高昂，不切实际，通常不会执行。
这就是差距。五角大楼正在建立一个更好的捕鼠器，而老鼠却在重写房子的蓝图。
检测工具在合成媒体生成后标记人工智能生成的图像、视频或音频……
五角大楼正在增强其对深度伪造的检测能力，但未能解决对手污染人工智能训练数据的更大问题。这一脆弱性已被民间研究人员记录，揭示了来自伊朗和俄罗斯等国的虚假信息活动正在影响人工智能的输出。报告强调了数据来源标准的必要性，以及国防专业人员对这些威胁的更大意识。
- 五角大楼正在增强其对深度伪造的检测能力，但忽视了人工智能模型的污染问题。
- 像伊朗和俄罗斯这样的对手正在将虚假信息嵌入人工智能训练数据中。
- 民间研究人员已记录对抗性内容对人工智能模型的影响。
- 五角大楼目前对检测工具的关注并未解决人工智能训练数据完整性的根本问题。
- 人工智能模型的数据来源标准是确保其输出可信的必要条件。