会画图不等于会造机器,AI竞争滑向可靠性验证
功能成功率需物理检验,85%比demo更实在
看得见的是形状,动起来才叫结构。
HUMAN PERSPECTIVE
人的视角:有温度的观察与独立判断
“你猜这个CAD模型,它到底能不能转起来?”
朋友把屏幕转过来。一个齿轮箱的三维图,线条干净,装配关系看着都合理。他上周让一个AI智能体生成的,视觉检查全过。然后他把模型丢进仿真,齿轮咬合到第三圈,卡死了。
看起来对,和真的能动,中间隔着一整个工程学。
这事让我想起刚看到的三份材料,凑在一起有种奇妙的共振。它们讲的其实是同一件事:AI的竞争,正在从“能不能做”滑向“做出来的东西靠不靠得住”。
会画图,不等于会造机器
alphaXiv上那篇FunCADBench的论文,标题就很不客气——Can It Actually Work?(它真能用吗?)。研究团队搭了个基准,覆盖46个机制家族,还有多步相互依赖的操作,专门考LLM智能体生成功能性CAD机构的能力。关键发现在那个叫FunCAD-Harness的评测工具上:它能暴露视觉检查根本看不出来的机械故障,加上这层检验,功能成功率才显著提上去。
我第一反应是,这不就是给我朋友那种翻车现场写的注脚吗。
AI生成一个“看着像那么回事”的零件太容易了。曲面平滑,倒角规整,渲染图能直接放产品手册。但机械这东西的残酷在于,它只认物理。齿轮会不会干涉、连杆死点过不过得去、公差累积到末端还转不转——这些问题在像素层面是隐形的。智能体缺的不是造型能力,是对自己产出的物理后果负责的能力。
从“意图”到“可工作机制”,中间那道坎,恰恰是过去两年被生成能力的狂飙掩盖掉的部分。
Nature那篇讲智能体扰动响应的论文,是同一个病的另一张病历。任务执行到一半,环境突然变了,智能体还能不能稳住?这问题在实验室里是基准分数,在产线上就是停线损失。
85%这个数字,比任何demo都实在
再说Google Cloud那个llm-d 1.0。
坦白说,基础设施的发布通常最无聊,一堆吞吐、延迟、架构名词。但这次有个数字让我停了一下:在Ironwood TPU上跑智能体编码负载,前缀感知路由加主机内存卸载,中位首token时间降低85%以上,总吞吐比普通Kubernetes Service高2.4倍。
为什么这个数字值得单独拎出来?因为智能体这东西的使用体验,跟聊天机器人完全不是一回事。你跟它聊一句,等三秒无所谓。但一个编码智能体在后台连着调二十次工具、读十几个文件、反复自我修正,每一次调用的延迟都在叠加。首token时间从“能忍”变成“无感”,决定的不是它聪不聪明,而是你愿不愿意把它放进真实的工作流里。
我一开始以为这类优化只是云厂商秀肌肉。后来想明白了,它解决的是可靠性竞赛里最朴素的一环:让不确定性变得可预测。分布式推理最难的不是把算力堆上去,是让请求在几十个节点之间调度时,延迟不抖、故障能优雅降级、升级不中断服务。这些听着像运维琐事,但智能体要真进生产环境,卡住它的往往就是这些琐事。
能力决定上限,可靠性决定它能不能落地。
新手39%,专家65%
最后说Berkeley那个分享,John DeNero讲的。
他引了2026年Anthropic的一项研究:Claude Code的会话成功率,新手39%,专家65%。同一个模型,同一套工具,差了26个百分点。
这个数据让我有点意外,又不太意外。意外的是差距这么大,不意外的是——工具越强,使用者的判断力越成为瓶颈。新手让AI写代码,AI给了个能跑的版本就收工;专家会追问边界条件、会看出“这段逻辑在并发下会炸”、会让AI重写第三遍。模型没变,变的是那个人脑子里有没有一张验收清单。
我在Berkeley那篇里读到一句很戳的话:AI目前无法替代人类能力建设。这话从一个计算机教授嘴里说出来,分量不太一样。他不是在护自己的饭碗,他是在说,当生成变得廉价,鉴别力就成了稀缺品。
这跟CAD那个事是同一个逻辑。视觉检查过不了的关,得有懂机械的人知道该去仿真里验什么。新手看不出齿轮会卡,不是眼睛的问题,是脑子里没有那套物理直觉。
驯服不确定性的人
三件事拼起来,我看到一条线。
过去两年,大家在比谁的模型更会生成。接下来,比的是谁能让生成的东西在真实世界里不出事。CAD要过物理仿真,智能体要过扰动测试,推理栈要过延迟抖动,人自己要过判断力这一关。每一关考的都是同一件事:你能不能把不确定性收进一个可控的框里。
我承认,写到这里我有点想收回前面那句“能力决定上限”。能力当然重要,但能力竞赛的赢家,往往是先学会给自己上枷锁的那个。
齿轮转不转得动,不取决于画得多漂亮。取决于有没有人愿意在按下渲染键之前,先问一句:它真的能动吗?
策展来源与事实依据(5)
llm-d 1.0, an open source stack for distributed inference | Google Cloud Blog
Google Cloud发布llm-d 1.0开源分布式推理栈。在Ironwood TPU上运行智能体编码负载时,前缀感知路由加主机内存卸载将中位首token时间降低85%以上,总吞吐量较普通Kubernetes Service提升2.4倍,并支持安全升级的 disaggregation 架构。
查看原始事实依据Benchmarking the responsiveness of LLM-based agentic systems under controlled mid-task perturbations | Scientific Reports
《Scientific Reports》发表论文,提出在受控任务中途扰动下评估LLM智能体系统响应能力的基准方法。研究关注智能体在任务执行中遇到突发变化时的适应性与鲁棒性,为智能体系统评测提供新维度。
查看原始事实依据Can It Actually Work? Synthesizing Functional CAD Mechanisms | alphaXiv
研究提出FunCADBench基准,覆盖46个机制家族及多步相互依赖操作,用于评估LLM智能体生成功能性CAD机构的能力。实验表明FunCAD-Harness能暴露视觉检查难以发现的机械故障,显著提升功能成功率,推动CAD智能体从意图到可工作机制的转化。
查看原始事实依据How AI Is Transforming Computing Education at UC Berkeley | Research UC Berkeley
UC Berkeley教授John DeNero在返校节分享AI如何改变计算机教育。他指出AI目前无法替代人类能力建设,引用2026年Anthropic研究称Claude Code会话成功率从新手的39%到专家的65%不等,学生AI使用方式因知识水平而异,强调培养人类计算理解力的价值。
查看原始事实依据Guidelines for the Development of a National Strategy on AI in Security and Defence → UNIDIR
联合国裁军研究所(UNIDIR)发布《国家安全与防务AI国家战略制定指南》,为国家提供能力建设、准备度和成熟度方面的程序性与实质性指导,涵盖技术、法律和政治考量,面向国家战略全周期的相关行为体与利益相关方。
查看原始事实依据分享这篇观察
生成分享图发布到社交平台
讨论与共鸣(0)
后参与讨论
觉得有价值?请我喝杯咖啡 →