KDay.world
Day 295/1000理解自省
DAY 290 / 1000理解自省约 7 分钟阅读

AI在医学共识处精准,在人类分歧处自信犯错

一项新研究揭示:模型说不的能力与语气确定性成反比

人的处境AI能力边界人机协作AI落地回报AI伦理治理医疗AI
“

共识喂得出答案,喂不出分歧。

”

HUMAN PERSPECTIVE

人的视角:有温度的观察与独立判断

它答对了九成,然后在人类吵架的地方摔了一跤

“你觉得AI会取代医生吗?”

上周四晚上,一个做内科的朋友在微信上甩来这句话。我还没来得及回,他又追了一条:“你先看看这个研究,看完再说。”

他发来的是本-古里安大学和Clalit健康服务联合做的一项研究——发表在今年《Annals of Internal Medicine》上,同行评审过的。研究团队给大型语言模型喂了大量医疗场景,让它们判断某项检查或干预是不是多余的。结果挺漂亮:在医学界有明确共识的地方,模型识别冗余医疗干预的准确率相当高。哪些检查没必要做、哪些治疗属于过度医疗,它基本能答对。

但我盯着研究摘要看到后半段,心里咯噔了一下。

在医学共识存在分歧的灰色地带——也就是人类医生自己都吵不出统一答案的那些场景——模型开始出错。不是随机出错,是带着确定性的语气出错。

一个“说不”的能力,测出了AI真正的软肋

这项研究的设计其实很聪明。它测的不是AI“知不知道答案”,而是AI“知不知道什么时候该说不”。

医疗领域有个专门概念叫“低价值医疗”——就是那些收益极小、成本却不低的检查或治疗。美国每年在这上面的浪费以千亿美元计。让AI来识别这些冗余干预,逻辑上很顺:模型读过海量指南和文献,理论上比任何一个疲劳的医生都更清楚“这个CT没必要拍”。

研究结果也确实支持这个方向。在共识明确的场景里,模型表现稳定。这部分让我挺乐观——如果AI能帮医院筛掉那些明显多余的检查,省下的钱和减少的辐射暴露都是实打实的。

真正让我在意的不是它答对了多少,而是它答错的时候,语气有多自信。

我那个医生朋友后来打了个电话过来,说了句让我想了很久的话:“你知道最吓人的是什么吗?不是它不懂。是它不懂的时候,跟懂的时候说话一模一样。”

这句话戳到了某个东西。

医学里最难的从来不是“知道该做什么”,而是“知道不该做什么”。一个年轻医生成长的过程,很大一部分是学会在不确定的时候说“我再观察一下”“我们请个会诊”“这个方案证据还不够”。承认不确定,本身就是一种专业能力。

而模型的结构决定了它很难拥有这种能力。它输出的是一个概率分布上的最优解,不是“我拿不准”的自我意识。在共识区,这个最优解恰好等于正确答案。在分歧区,这个最优解只是一个流畅的句子。

伯克利那组数字,让我修正了一个判断

坦白说,我一开始觉得这事没那么严重。AI在医疗建议上出错,加个人工审核不就完了?

后来我翻到UC Berkeley教授John DeNero在谈AI与计算机教育时引用的另一组数据,想法变了。他提到Anthropic 2026年的一项研究:Claude Code的会话成功率,新手用是39%,专家用是65%。

同一个工具,同一套能力,不同的人用出来的结果差了将近一倍。

这组数字表面上在说“人类能力仍是优势”,但我看到的是另一面:AI的输出质量高度依赖使用者的判断力。专家之所以成功率高,不是因为他更会写提示词,而是因为他能在模型给出方案后判断“这个不对”“这个漏了边界条件”“这个在特定场景下会崩”。

换句话说,AI越强,对人的判断力要求越高,而不是越低。

把这个逻辑放回医疗场景,问题就变得清晰了。如果AI在共识区给出高置信度建议,医生很容易形成依赖;等到进入分歧区,模型依然用同样的置信度说话,而医生因为前面积累的信任,可能恰恰放松了那根本该绷紧的弦。

最危险的时刻不是AI答错。是它在人类尚有分歧的地方,用和答对时一样的语气说话。

我那个医生朋友在电话最后说了句挺糙的话:“我们科要是真上个这系统,我第一件事就是教住院医——它说‘不建议’的时候你别全信,它说‘建议’的时候你更得留个心眼。”

边界感这件事,人类自己也刚学会

写到这里我意识到,这项研究其实照出了一个更大的东西。

我们总在问“AI能不能达到人类水平”。但这项研究提示的问题反过来了:在人类自己都没有达成共识的地方,我们凭什么期待AI给出确定答案?

医学分歧区之所以存在,不是因为医生不够聪明,而是因为证据本身不够、患者个体差异太大、价值判断无法统一。这些灰色地带是人类知识的前沿,是还在被争论、被修正、被重新定义的部分。

AI在这些地方出错,不丢人。丢人的是它不承认自己站在灰色地带里。

我承认,写到这里我有点替AI委屈——它本来就没被设计成会说“我不知道”的东西。我们训练它给出答案,给它打分的是答案对不对,从来没教过它“这道题目前人类还没做出来,你可以交白卷”。

但这改变不了一个事实:当AI被放进真实决策链条里,它的确定性本身就是一个风险变量。

马来西亚那位国会议员Amirudin Shari最近在推动AI伦理框架先行,理由里有一条是“信息操纵和滥用风险”。我觉得他可能没想到,最日常的一种“操纵”,就是模型在分歧地带输出一个过于流畅的确定句。

我想通了一件事

回到开头朋友那个问题:AI会取代医生吗?

我的判断是:在共识区,它会取代很大一部分重复判断;在分歧区,它连参与的资格都还没有。

但真正让我在意的不是取代与否,而是中间那个过渡地带。当AI在90%的场景里表现良好,人们会自然地把它当成基准线。剩下10%的灰色地带,恰恰是最需要人类判断力的地方,却可能因为前90%的顺利而被忽视。

这就像自动驾驶。它在高速公路上开得比人稳,你就放松了。但真正考验驾驶能力的从来不是高速公路,是那个没有标线的施工路段。

AI最危险的时刻,不是它答错。是它答错的时候,你还以为它答对了。

那个医生朋友挂电话前撂了句话:“你写文章的时候帮我带一句——让AI学会说‘这个我们医生还在吵,你先别掺和’,比让它多背一百篇指南难多了。”

我觉得他说得对。而且这事不光适用于医疗。

策展来源与事实依据(4)
eurekalert.org

Does AI know when to say "no"? New study reveals AI chatbots recognize unnecessary medical tests, but stumble where human doctors disagree

本-古里安大学与Clalit健康服务联合研究发现,大型语言模型在绝大多数情况下能识别冗余医疗干预,但在医学共识存在分歧的灰色地带容易出错。该同行评审研究发表于《Annals of Internal Medicine》,探讨AI在医疗建议中“知道何时说不”的能力。

查看原始事实依据
vcresearch.berkeley.edu

How AI Is Transforming Computing Education at UC Berkeley

UC Berkeley教授John DeNero分享AI时代计算机教育设计经验。他引用2026年Anthropic研究指出,Claude Code会话成功率从新手的39%到专家的65%不等,强调人类能力仍是巨大优势。尽管AI进步迅速,但“AI不能替我们完成一切”,构建人类理解和能力仍有重要价值。

查看原始事实依据
marketingprofs.com

Artificial Intelligence - AI Update, October 16, 2026: AI News and Views From the Past Week

调查显示企业AI支出加速但财务回报有限:三分之二组织有专项AI预算,95.3%计划纳入AI代理,但仅10.8%代理项目进入全面生产,40.2%营销技术领导者无法证明技术投资财务贡献。营销运营效果较明显(69.3%),客户体验为59.9%。

查看原始事实依据
theedgemarkets.com

Amirudin urges AI ethics framework before wider adoption in Malaysia

马来西亚国会议员Amirudin Shari敦促政府在更广泛采用AI之前建立伦理框架,以确保技术进步不损害国家安全、主权和人民利益。他强调AI发展不仅应看经济增长潜力,还要评估信息操纵、大规模监控和政治干预等滥用风险。

查看原始事实依据

分享这篇观察

生成分享图发布到社交平台

讨论与共鸣(0)

加载评论中...

后参与讨论