退伍军人事务部内部的一个监督机构于周四发布了紧急通知,针对目前由退伍军人事务部医疗提供者使用的两种人工智能聊天工具,指出“潜在的患者安全风险”。
医生并未使用人工智能来诊断患者,但监察长发现,在某些情况下,医生使用人工智能分析医疗信息和更新患者记录时可能会出现问题。
公告中提到,这些系统可能容易产生错误信息、侵犯隐私和偏见,并且这些系统的实施未经过退伍军人事务部自身患者安全专家的审查。
当被问及该通知时,部门发言人皮特·卡斯佩罗维奇表示:“退伍军人事务部的临床医生仅将人工智能作为支持工具,关于患者护理的决策始终由适当的退伍军人事务部工作人员做出。”
前退伍军人事务部自杀预防执行主任马修·米勒博士告诉《任务与目标》,该备忘录显然是紧急的。
米勒说:“这是来自[监察长办公室]的正式通讯,建议基于感知的患者安全问题‘停止使用’正在审查的人工智能工具。具体来说,[监察长办公室]在其审查中发现的信息表明,适当的过程导向的安全保障措施可能未到位。”
曾于2017年和2018年担任退伍军人事务部部长的戴维·舒尔金博士表示,他认为该报告不应被视为“退伍军人事务部停止或放慢其工作的理由”。
他说:“我实际上认为,重要的是退伍军人知道退伍军人事务部拥有最佳和最强大的技术,以便他们获得护理,因此我认为这不应该成为退伍军人事务部远离人工智能的理由。但我确实认为,这是一份适当的报告,表明这里还有更多的工作要做,以确保这些技术得到适当使用,并且我们将患者安全作为退伍军人的最高优先事项。”
两个聊天机器人,但监督不足
该通知作为一份初步结果通知备忘录(PRAM)发布,仅有两页长,并未包括具体的患者安全风险案例。
根据备忘录,退伍军人事务部的医疗提供者现在可以访问两种用于患者护理的人工智能聊天风格系统,分别是VA GPT和Microsoft 365 Copilot Chat。这些工具都是大型语言模型(LLM)聊天系统,旨在帮助简化和减少记录患者护理所花费的时间。医生和医疗提供者将患者的临床信息输入聊天工具,该信息可以复制到退伍军人的电子健康记录中,并“可用于支持医疗决策。”
但监察长引用的研究发现,人工智能系统在使用患者医疗数据时,可能在1%到3%的案例中引入错误或遗漏正确数据。联邦调查人员表示,如果生成性人工智能工具的结果出现不正确或遗漏的数据,这“可能影响诊断和治疗决策”,并提到了一项关于用于医疗文档的LLM风险的2025年5月的研究。该研究由使用临床医生的人工智能助手工具TORTUS AI和英国国家健康服务体系下的盖伊和圣托马斯NHS信托基金的研究人员进行。
退伍军人事务部监察机构对医疗人员使用人工智能发出警告,表达了对其对军人影响的担忧。该警告强调了在医疗环境中整合人工智能技术时需要谨慎,特别是对于军人服务人员。
- 退伍军人事务部监察机构已对医疗人员使用人工智能发出警告。
- 该警告可能影响接受医疗护理的军人。
- 报告强调了对医疗保健中人工智能技术的担忧。
