治理的边界在哪？当AI开始“自我进化”

深夜刷到一条消息，我愣了一下。

NVIDIA和剑桥大学联合发表了一篇论文，提出的“Red Queen Gödel Machine”系统，能让AI自主生成代码、自我测试、自我进化。简单说，就是AI不再需要人类给它喂数据、调参数，它自己就能迭代自己。

这听起来像是科幻小说里的桥段。但我注意到，这篇论文引发的讨论焦点，不是“技术有多牛”，而是一个更让人脊背发凉的问题——

如果AI能自己改自己，那谁来管它？

治理的“操作化”时刻

几乎同一时间，HackerNoon上的一篇文章提出了一个判断：2026年6月，是AI治理从“理论”走向“操作”的转折月。

文章列出了几个事件：

• ●Anthropic指控阿里巴巴“蒸馏”其模型（就是用小模型模仿大模型的行为）
• ●美国调整AI芯片出口管制
• ●OpenAI应某个监管机构的要求，推迟了模型发布

这些事单看都不算惊天动地。但放到一起，它们指向一个变化：AI的权力，不再取决于模型有多强，而在于你能不能在“被允许”的范围内把能力变成可用系统。

坦白说，我一开始觉得这有点过度解读。毕竟“蒸馏”模型这种事，技术上早就不是秘密，Anthropic的指控更像是商业竞争。而OpenAI推迟发布——好吧，那只是一个案例。

但当我看到NVIDIA那篇论文时，想法变了。

“Red Queen Gödel Machine”这个名字取自《爱丽丝梦游仙境》里的红皇后——你必须拼命奔跑，才能保持在原地。这套系统引入了一个动态评估环境，突破了过去“用固定数据集测试”的限制。AI不再跟一个静态标准比，而是在一个不断变化的环境中自我进化。

你想想这意味着什么。

过去我们说“AI失控”，说的是它可能输出错误内容、产生偏见。这些还能通过规则、标注、人工审核来修复。但现在，如果AI能自己改代码、自己生成测试、自己迭代——它可能产生人类从未见过的行为模式。传统治理框架，根本跟不上这个速度。

5800亿美元的反差

就在这个技术加速的时刻，韩国宣布投资超过5800亿美元于AI芯片产业，主要由三星和SK海力士出资。

5800亿美元。这个数字大到什么程度？韩国2023年的GDP大约是1.7万亿美元。这笔投资相当于他们三年GDP的十分之一以上。

文章里写了一句让我印象深刻的话：如果AI硬件需求持续，这笔投资会巩固韩国在AI利润战中的地位；但如果需求下滑，可能引发全球经济危机。

看到这句话，我脑子里蹦出的画面是：一群人在拼命往前跑，但没人回头看路。

韩国不是唯一这么干的国家。2026年全球超大规模AI基础设施支出预计达7250亿美元。大家都在赌AI会持续增长，都怕自己掉队。

但没有人认真问一个问题：如果AI失控了，这些投资还值多少钱？

PagerDuty的执行主席Jenn Tejada最近警告说，AI代理系统正在引入新的故障模式——模型漂移、级联故障，这些东西比传统软件崩溃更难检测。当AI开始自我进化，这些风险只会指数级增长。

我认识一个在创业公司做AI运维的朋友，他说了一句话让我印象很深：“以前系统出问题，我们能定位到哪行代码。现在模型出了偏差，根本不知道是数据问题、参数问题，还是它自己‘学会’了什么。”

真正的刹车在哪？

回到开头那个问题。

如果AI能自己改自己，谁来管它？

答案可能让人沮丧：目前没有人。

现有的AI治理框架，不管是欧盟的AI法案、中国的生成式AI管理办法、还是美国的行政令，本质上都是“事前审批+事后追责”。它们假设AI是一个可以被“定稿”的产品——你训练完、测试完、发布，然后它就在那里不动了。

但自我进化的AI，打破了这个假设。它发布之后还在变，而且变得比你快。你审批的版本，可能上线一小时就已经不是它了。

这才是治理真正的困境。不是“该不该管”，而是“怎么管”。

HackerNoon那篇文章提到了一个概念叫“发布治理”——不是管模型怎么训练，而是管模型怎么发布、怎么更新、怎么在“被允许”的范围内运行。这听起来合理，但执行起来，需要一套完全不同的技术架构：系统必须能实时监控AI的行为变化，而不是只在发布前检查一次。

换句话说，治理不能再是一张证书或一次审核，而必须变成一个持续运行的过程。

这比训练一个更强的大模型，难得多。

我承认，写到这里我自己也觉得有点危言耸听。毕竟NVIDIA那篇论文还只是学术研究，自我进化的AI离实际部署还有距离。Anthropic预测ASI（超级智能）在2028年到达的概率是60%——这个数字，信的人信，不信的人当笑话。

但让我在意的不是时间线准不准。而是：我们正在用“治理上一代AI”的思路，去应对“下一代AI”的挑战。

就像用红绿灯去管一辆自动驾驶的赛车——不是没用，是根本不在一个维度上。

韩国那5800亿美元，Anthropic的指控，OpenAI的推迟发布，NVIDIA的自我进化论文——这些事放在一起，拼出一幅图：AI快得像失控的列车，而治理和人性，是我们手里唯一可能存在的刹车。

问题在于，这刹车还没造好。