当AI开始写自己的代码，谁在盯着它？

“Claude Code 系统生成的生产代码已经占到80%。”Anthropic 在2026年5月透露的这个数字，被 The Conversation 一篇文章引为“递归自我改进”的证据。文章标题问了一个直白的问题：这是超级智能的黎明吗？

我的第一反应是：80%？这个比例比我预想的高得多。但更让我在意的，不是AI写了多少代码，而是剩下那20%是谁在写——以及，那20%里有多少是“人类审批”这个环节本身。

递归的瓶颈，从来不在技术上

递归自我改进这个说法听起来像是科幻小说的概念：一个AI系统能自己改进自己的代码，改进后的代码运行得更快，然后继续改进，循环加速直到突破某个临界点。The Conversation 文章谨慎地指出，目前这种“改进”仍然受限于人类审批——每次修改都需要人看过、点头、确认没问题。

但这里有个有趣的反直觉点：当80%的生产代码都由AI生成时，人类审批者面对的是自己几乎无法完整理解的代码库。 这不是能力问题，而是规模问题。一个人一天能审查多少行代码？一千行？一万行？当一个模型在几分钟内生成十万行时，审批变成了形式主义。

我认识一位在大型科技公司做代码审查的朋友。他说现在的状态很微妙：“你明明知道这段代码是你写的，但你看着它觉得陌生。因为AI改过的版本用了你根本不会用的写法，但它通过了所有测试，性能还更好。你签不签？”

这让我想到一个更本质的问题：当人类审批者面对一个“看起来对但我不完全理解”的输出时，审批这个动作本身就失去了意义。 递归自我改进的真正瓶颈，从来不是模型能不能生成更好的代码——而是人类能不能信任自己无法理解的输出。

代理身份失控，才是真正的引爆点

但代码生成只是一个前奏。真正让我觉得需要警惕的，是另一个被 CSO Online 和 Towards Data Science 同时提及的话题：代理型AI的身份治理。

五眼联盟在2026年5月发布了一份联合咨询，把权限风险列为AI代理的首要问题。CIS 的报告则指出，提示注入是代理系统面临的主要复合风险。NIST 也在2026年2月启动了AI代理标准倡议，正在起草正式标准。

翻译成人话：当AI代理开始代表你执行操作时，它本质上获得了一个“非人类身份”。这个身份能访问系统、调用API、修改配置、甚至创建其他代理。如果一个代理的身份管理出了问题，后果不是“AI回答错了”，而是“AI以你的名义做了一件你根本不知道的事”。

Towards Data Science 的文章提出了一个概念叫“定制代理对齐”——意思是企业需要为自主AI系统建立超越通用安全规范的对齐层。文章引用了几个案例，说明代理行为与组织期望之间的偏差有多危险。

坦白说，读到这部分时我有点后背发凉。因为代码生成的问题至少还有“人类审批”这层心理安慰（尽管它越来越形式化），但代理身份失控的问题是结构性的：一个拥有权限的AI代理，可以在你发现之前造成实质性的破坏。而且它不是“犯错”——它是“被授权”。

一个被忽略的连锁反应

把这两个事件放在一起看，会发现一个有趣的连锁反应。

递归自我改进让AI生成代码的比例越来越高，这些代码中有相当一部分会被部署为AI代理。而AI代理需要身份和权限才能运行。于是我们正在创造一个循环：AI写的代码变成了AI代理，AI代理需要权限才能执行任务，权限管理不善导致代理失控，失控的代理又可能生成更不安全的代码。

这不是技术问题，是制度问题。 就像The Conversation文章里提到的，2023年就有人呼吁暂停AI训练，但当时没人听。现在一样：所有人都在讨论AI递归进化的技术可能性，但没人在认真讨论那个“谁在盯着AI”的治理问题。

说个更让我在意的细节：思科的调查显示，72%的CEO预计到2030年人类仍将保持对AI系统的监督。这个数字本身就很能说明问题——当接近四分之三的高管认为“人类监督”会持续到2030年时，他们可能严重低估了递归自我改进的速度。 2026年5月，Claude Code已经生成80%的生产代码了。到2030年，这个比例会是多少？99%？99.9%？到那个时候，人类监督的意义还剩下什么？

好吧，也许是我想多了——但万一没有呢？