军方传说中的“人类在环”对于人工智能的误导性极大
最近有报道称，亚马逊在一系列中断其零售网站的事件后召开了一次内部“深度探讨”，这些中断显然是由人工智能辅助的编码工具引起的。此次会议是在几次高度可见的故障之后召开的，公司内部越来越认识到，生产系统中关于生成性人工智能的安全措施是不足的。
这是一个更广泛问题的早期迹象，许多组织宁愿不去承认：随着人工智能被迅速引入关键系统，它以比组织能够理解或控制的速度引入了新的故障模式。
对于越来越多地将人工智能集成到任务关键系统中的防务组织而言，影响更加深远。
当组织停下来考虑这些风险时，他们往往会寻求一种熟悉的安慰：会有“人参与其中”。这个想法是，即使系统复杂或不可靠，仍然会有人在问题变得重要之前发现错误。
这种安慰是极其误导的。一个唯一功能是批准机器行为的“人参与其中”并不是一种保障，而是一种设计失败。注意力会减弱，因为没有人能专注于一项主要是无所事事的工作，随着时间的推移，操作员的技能会退化到无法有效监督系统的地步。剩下的只是监督的表象，而非现实。
在军事环境中，这种退化的人类参与不仅效率低下，而且在操作上是危险的。
这种模式并不新鲜。工程师们以前见过这种情况，最著名的例子是1982年推出的Therac-25放射治疗机。它将两个前身系统的功能结合在一个更小、更方便的包装中，其改进的自动化使其操作更快、更简单。安全性“由”必须确认操作的人类操作员的存在来“保证”——实际上是一个“人参与其中”。
然而，该系统仍然失败了。患者开始出现严重的辐射烧伤。医院否认机器出错的可能性，制造商坚称过量辐射是不可能的。经过持续调查后，才发现该机器存在多个安全关键的软件缺陷。到那时，已经发生了六起过量辐射事故，其中三起致命。
更深层次的问题不仅是代码错误，还有设计缺陷。该机器经常因解释不清的错误信息而停止，要求操作员“按P继续”以继续治疗。由于这些错误很常见且很少有意义，操作员习惯于每天重新启动系统数十次或数百次。当真正的故障发生时，“操作员确认”的行为已经失去了意义。在一个案例中，一名操作员多次重新启动机器，毫不知情地造成了重复的过量辐射。人类操作员的存在并没有防止故障的发生；反而使其正常化。
今天，我们正在重蹈覆辙。计算机科学家们急于将理解不深的人工智能系统纳入安全关键环境中，当提出担忧时，往往会用同样的短语轻描淡写：会有“人参与其中”。这种假设现在出现在关于防务系统的讨论中，从决策支持到自主操作……
关于人工智能在美国军事系统中整合的担忧日益增加，强调了“人类在环”概念的误导性。专家警告称，这种对人类监督的依赖可能会造成虚假的安全感，进而导致操作失败。历史先例，如Therac-25事件，突显了缺乏有效人类监督的自动化系统所带来的风险。报告强调了在关键军事环境中重新评估人工智能部署的紧迫性。
- 亚马逊内部会议讨论了影响其零售网站的人工智能相关故障。
- ‘人类在环’的概念被批评为人工智能系统中的设计失败。
- 历史案例，如Therac-25，说明了在自动化系统中过度依赖人类监督的危险。
- 人工智能系统正在被整合到军事决策过程中，增加了操作风险。
- 人工智能系统中人类监督的幻觉可能导致危险的结果。