关于致命自主权的辩论——这是特朗普政府与Anthropic的斗争的核心——掩盖了五角大楼迅速采用商业人工智能工具的更深层次危险：这些工具可能削弱美国军方区分事实与虚构的能力。
新的研究表明，依赖人工智能执行各种任务可能会侵蚀个人的原生能力。军事指挥官们对此表示关注。
“你使用人工智能越多，你的大脑使用方式就会越不同，”北约转型最高盟军指挥官皮埃尔·万迪尔海军上将，在Defense One的“国防现状”系列中表示。“因此，我们需要能够进行一些监督，能够批判我们从人工智能中看到的内容，并确保你不会被某种虚假的事物呈现所欺骗。这是我们需要关注的事情。”
但是，几乎没有证据表明五角大楼在急于部署人工智能工具时，采取了措施来保持其用户的敏锐性——甚至没有监测人工智能的影响。
“由于部署这些模型的速度和紧迫性，也许这并没有得到落实，”一位曾在战斗环境中部署人工智能的前高级军事官员表示。
与此同时，使用人工智能工具的压力只会越来越大。
“尤其是在任何冲突中深入时，寻找更多目标的压力会越来越大。这在每场冲突中都会发生。两周后，你会开始查看你的投放目标清单。现在你在要求目标。那么，你能多快生成目标？”这位前高级军事官员说。
认知陷阱
越来越多的研究表明，大规模使用大型语言模型可能会削弱人类的思维和沟通能力。
例如，根据本月早些时候在期刊Cell上发表的一篇空军研究实验室论文，这可能会使用户之间的思维同质化，强化“主导风格，同时边缘化替代声音和推理策略”。
南加州大学计算机科学教授、参与撰写该论文的莫尔特扎·德赫甘尼表示，这对军方提出了至少两个问题。在当下，“它冲淡了关于作者是谁的信号”，因此消除了评估数据的重要背景。随着时间的推移，它可能会抑制批判性思维。
德赫甘尼在一封电子邮件中写道：“因为这些模型是针对最可能和‘理想化’的反应进行优化的，它们往往强制执行线性‘思维链’推理风格。这可能会使经验丰富的分析师不愿采用非线性、直觉或‘直觉感觉’的策略，而这些策略对于识别稀有例外或应对复杂的非标准情报场景至关重要。”
同样，沃顿商学院的研究人员在一月份发现，使用大型语言模型的人花在审查结果准确性或运用自己判断上的时间越来越少。他们发现，用户即使知道人工智能的判断是错误的，仍然依赖于人工智能的判断，这种现象被作者称为“认知投降”。
而在二月份的一项
美国军方正越来越多地采用商业人工智能工具，这引发了对其对决策和批判性思维影响的担忧。军事领导人强调需要监督，以防止对潜在不可靠的人工智能输出的依赖。研究表明，依赖人工智能可能会削弱人类判断，导致认知陷阱和分析能力下降。五角大楼意识到这些风险，但面临在持续冲突中利用人工智能进行目标生成的压力。
- 五角大楼正在迅速采用商业人工智能工具，这引发了对其对军事决策影响的担忧。
- 研究表明，依赖人工智能可能会削弱人类判断和批判性思维。
- 军事指挥官意识到与人工智能依赖相关的风险以及监督的必要性。
- Anthropic的人工智能工具在军事行动中被使用，但其可靠性未经过适当验证。
- 军方面临使用人工智能工具进行目标生成的压力，这可能会影响决策质量。