确保人工智能侧翼以提供可信的决策能力
随着人工智能（AI）工具为部队和指挥官提供更好、更高效的决策能力，这些工具必须保持安全，以确保它们提供最佳的信息。
《Breaking Defense》与埃森哲联邦服务公司的董事总经理兼网络负责人曼迪·萨特怀特进行了交谈，探讨在对抗压力下，操作性网络韧性和可信AI如何保护战斗人员和国家安全企业。
《Breaking Defense》：AI承诺加速战场上的决策，但在高后果的军事行动中，速度在没有信任的情况下毫无意义。当每一秒都至关重要时，什么是“可信AI”？
曼迪·萨特怀特，埃森哲联邦服务公司董事总经理兼网络负责人萨特怀特：信任不是一个抽象的伦理辩论——它是一个不可谈判的操作要求。在战斗的紧张时刻，如果一个AI系统依赖于被污染的数据，产生无法解释的结果，或在幕后默默失败，它不会给你带来优势；它会造成不可接受的操作风险。
为了服务于战斗人员，AI系统必须是可预测的、可验证的、可解释的，并且在对抗攻击下具有韧性。当指挥控制系统为决策者合成选项时，该领导者必须绝对确信这些建议是基于我们控制下的权威、未被篡改的数据。如果你无法追溯数据来源或解释结论是如何得出的，你就无法在战斗中采取行动，因为生命处于危险之中。
你提到了数据来源。AI安全有多少是供应链问题，特别是当国防领导者希望使用商业基础模型时？
确实存在非常现实的供应链挑战。当你从货架上拿下一个商业前沿模型并进行微调时，你会继承与之相关的数据和潜在的漏洞。如果基础模型被破坏或在被污染的数据上进行训练，你就将这种风险直接引入你的安全环境。
我们与客户讨论的另一个考虑因素是：更大（且昂贵）的前沿模型通常并不适用于专门的军事能力。根据特定任务用例调整模型规模，并审计构建模块——从数据源到模型权重——是至关重要的。我们已经看到对手试图直接操纵模型权重文件以扭曲输出。如果你不能从头到尾控制和验证数字供应链，你就是在动摇的基础上构建。
传统上，网络安全合规意味着进行定期渗透测试或通过预部署检查清单。当应用于AI系统时，这种方法仍然有效吗？
像Mythos这样的前沿模型完全打破了网络攻击的时间线。这意味着定期测试已经不再适用。对手不断探测漏洞，从旨在提取敏感数据的提示越狱到复杂的权重操控。我们不能再仅靠季度渗透测试来保护我们的系统。
网络防御必须转向持续的、自动化的验证，类似于“以火攻火”的概念。我们需要将AI驱动的红队和漏洞扫描直接嵌入我们的持续集成和持续交付（CI/CD）软件管道中……
埃森哲联邦服务公司强调需要安全的人工智能系统以增强军事决策能力。在高风险环境中，可信的人工智能至关重要，因为数据被破坏可能导致操作风险。报告强调了在人工智能辅助操作中持续进行网络安全验证和人类监督的重要性。
- 人工智能系统必须安全，以在军事行动中提供可靠的决策。
- 可信的人工智能对于在高风险环境中的操作成功至关重要。
- 供应链漏洞可能会危及人工智能的安全。
- 持续验证人工智能系统是抵御网络威胁的必要措施。
- 人类监督在人工智能辅助决策中至关重要。