初创公司对人工智能助手采取不同的方法

五角大楼渴望将人工智能“代理人”——能够自主执行复杂任务的软件，如客户服务、日程安排或代码编写——融入士兵和国防文职人员的更多工作中。但越来越多的研究表明，基于知名大型语言模型构建的代理人在温和环境中也会表现出不可预测和危险的行为。

Edgerunner AI是一家由退伍军人创办的初创公司，为军方构建了一种不同类型的代理工具，该工具由前操作员和专家在实际军事任务和真实战斗环境中进行训练。新工具WarClaw的发布是一种趋势的体现，即从大型知名前沿模型转向更小、更定制的模型，以提供更多用户控制。

公众对所谓的“代理人工智能”的兴趣在2024年10月至2025年10月之间增长了6100%。预计能够自主实现复杂任务的软件需求将从去年的40亿美元增长到2030年的超过1000亿美元。

国防部在这一趋势中走在前列。今年1月，作为其人工智能战略推出的一部分，它宣布开发一个“代理网络”，以构建“从战役规划到杀伤链执行的AI支持的战斗管理和决策支持”，并为业务流程构建“快速安全的AI代理开发和部署手册”。

Edgerunner的AI代理WarClaw“搜索和分析数据库，解读情报报告，从网络中提取相关信息，起草文档和简报，并自动化常规流程。集成包括Microsoft PowerPoint、Word、Excel、Teams、Outlook等”，根据公司声明。但它与知名模型制造商如Anthropic、xAI或OpenAI的类似工具有很大不同。

Edgerunner AI的创始人Tyler Xuan Saltsman在接受Defense One的独家采访时表示，来自这些公司的代理人对军方构成特定风险；这一说法得到了最近学术研究的支持。

在3月，哈佛大学、麻省理工学院等的科学家发现，基于Anthropic的Claude或Kimi构建的代理，在OpenClaw（与大型语言模型协作的代理软件）中运行时，表现出“对非所有者的未经授权的遵从、敏感信息的披露、执行破坏性系统级操作、拒绝服务条件、资源消耗失控、身份欺骗漏洞、不安全实践的跨代理传播以及部分系统接管”。

根据康奈尔大学3月的一篇论文，AI代理还提供了一种“控制的幻觉”，这在军事环境中尤其危险。研究人员发现，代理系统可以以军事规划者和监控者无法看到的方式吸收修正或抵制评估，因为揭示它们的过程并不存在。“一个跟随航点的无人机无法误解指令；一个预编程的目标系统无法吸收修正；一个传统的传感器网络无法抵抗操作员的评估。代理系统可以做到所有这些，而当前的治理框架没有检测、测量或响应这些失败的机制，”作者写道……