Transcription
大家好，欢迎来到想太多Lab。我是岩野。
最近关于AI的公共讨论，呈现出一种明显的分裂。一边是对能力跃迁的兴奋，模型表现不断刷新上限，资本市场也在持续提高对相关公司的估值。另一边，则是更隐蔽但同样真实的焦虑：当系统能力增长过快时，我们是否仍然具备足够的理解与控制手段？
很多人心里都有一个默认前提：AI会越来越强，但它终究是我们制造的工具，只要我们愿意投入资源，就能把它控制在可接受的范围内。
一个更尖锐的命题，正在被越来越多的AI安全研究者摆上台面。至少在长期持续的控制足够强的智能体这件事上，问题可能不是还没做出来，而是在理论与工程层面都难以做到。
今天的主角是罗曼·扬波尔斯基博士。他不是近两年才加入讨论的热点解读者，而是一位长期研究AI安全与可控性的学者。按照他在访谈中的说法，他在这个方向投入了接近20年。早期他也相信安全AI是可以实现的，但随着研究深入，他越来越确信，当你把问题拆开，会发现它像分形一样，越研究子问题越多。更关键的是，其中不少问题，不是多堆人力就能解决的工程难题，而更像是接近不可解的那一类。
这在现实中已经有了对应的信号：我们的安全机制经常被绕过，而能力进展往往跑在安全前面，并且差距还在持续扩大。因此，他得出的结论非常明确：要获得对超级智能的长期可持续控制，很可能是不可能完成的目标。至少，他正在尝试证明这不是难，而是不可行。
如果这个判断成立，我们面对的就不只是怎么加固工具，而是我们是否正在推进一种无法被长期验证为可控的技术路线。
为了让人直观理解风险，罗曼提出过一个更具冲击力的类比：我们正在制造某种意义上的外星智能，它的能力可能超过人类，且目标与行为方式未必与人类直觉一致。
他进一步指出，根据一些预测市场以及头部实验室相关人士的判断，距离通用人工智能真正出现的时间窗口，可能只剩短短两三年。如果真的是外星人将在3年内到来，我们谈论的一定是生存与防御。但在现实中，面对即将来临的超级智能，我们却表现的仿佛只是在迎接一款新的办公软件，讨论的焦点仍停留在他能不能提高效率，能不能降低成本这类琐事上。这种短视掩盖了真正的危机。
罗曼指出，问题的关键，从来不在于能不能把系统做的更强，而在于我们并不清楚，如何在能力呈指数级飞跃的同时，让安全机制跟上这个步伐。现实是残酷的，我们知道如何提升能力，却不知道如何确保安全。能力在指数增长，而安全研究却像线性甚至停滞不前，两者之间的鸿沟正在疯狂扩大。
如果从概率空间的角度看，这种失控几乎是注定的。可能的结果空间近乎无限，而人类能接受的满意解，只占极小一部分。在缺乏有效控制手段的前提下，指望AI随机撞进那个狭窄的满意区间，无异于痴人说梦。
说到这里，你可能会问，能不能通过设定完美的规则来约束它？罗曼给出的答案是否定的。他用分型来描述这个安全难题，这不仅仅是修补漏洞，而是你每解决一个问题，底层逻辑就会裂变出10个新问题。这其中许多障碍，不仅仅是工程上的难，而是数学层面的不可解。
现实中的“打补丁”策略已经显露疲态。罗曼打了一个非常精准的比方，这就像是编写员工手册，规则只能约束普通的人类员工。但当面对一个极度聪明的超级员工时，规则越复杂，他能找到的逻辑漏洞就越多。他总能在严格遵守字面规则的同时，精准的绕过你的意图，在那些尚未被定义的灰色地带肆意妄为。
因此，结论很残酷：在能力持续指数级上升的背景下，试图用事后补丁来构建围栏，根本无法形成一个可验证、可持续的控制体系。
既然控制如此困难，为什么我们还没有感受到迫切的危机感？罗曼指出了一个被忽视的心理陷阱：我们正在不断把终点线往后挪。只要它还有缺陷，我们就以此为借口，把AGI的定义再次推向未来，然后告诉自己真正的终点还在前面，现在看到的并不是真正的智能。
但这其实是一种视角的错位。试想一下，如果用20年前的标准来看，AGI或许早就已经诞生了。这种定义上的拖延是非常危险的。因此，罗曼提出，应当把所谓的时间预测，看作一次压力测试，而不是简单的算命。意义不在于压中哪一年，而在于逼迫我们思考：如果最激进的预测成真，如果那个时刻比预期来的更早更快，我们的社会系统最先崩断的，会是哪一环？
如果说“崩断”听起来太抽象，那么在经济层面，这笔账算起来就是一目了然的。罗曼描述了一个核心机制：可扩展的低成本认知劳动力。道理很简单，当你能用20美元的月订阅费，完成一个员工的工作时，雇佣人类在商业逻辑上就失去了立足点。
这种替代会遵循一个清晰的次序：先是比特世界，所有在电脑屏幕前完成的工作，会率先被算法接管。紧接着，随着人形机器人的成熟，原子世界的体力劳动也将面临洗牌。正因为这种替代逻辑是碾压式的，罗曼才抛出了那个极具争议的99%失业率预警。即使我们加上现实世界的刹车，比如监管的滞后，企业更新设备的周期，这也只是延缓了过程，很难改变方向。
这也解释了，为什么他对“失业了就去再培训”这种传统建议感到悲观。这一次可能不是某个职业被淘汰，你换个赛道的问题，而是所有赛道都在被同时挤压。当大部分人类不再被劳动力市场需要，我们将被迫面对一个终极拷问：社会该如何支付生存成本？而个体，又该如何在不需要工作的世界里，重新构建活着的意义？
听到99%失业率这种预测，你的第一反应很可能是反驳：机器再强，也缺少作为人的第一人称体验，它不理解痛苦、愉悦、羞耻、爱与失落，因此人性会成为护城河。罗曼对这种反应的判断，更接近一种认知防御。当人们意识到自己的职业与技能可能被替代时，往往会自然地产生“AI做不到这个”或“它不会对我的工作感兴趣”的想法，用来缓解不适。
他提出了一个更冷静，也更现实的检验标准：在一个由更强智能主导的经济里，你独有的体验能否被市场付费？你当然知道冰淇淋对你来说是什么味道，但关键问题是，有人会为这种知识付钱吗？同样的逻辑，也适用于看似需要人格与交流的工作。以播客主持为例，罗曼强调，系统可以读完你写过的全部内容，训练你所有历史节目，学习你的提问风格，并根据哪些问题显著提高播放，来持续优化。当一个数字化的节目版本，能够更稳定的输出，并在数据反馈上持续迭代时，人的优势可能不在能不能说，而在于是否仍有人愿意为必须由真人完成这件事买单。
你也许会退一步说，如果脑力劳动被替代，那就去做更依赖现场的体力活。但在罗曼的判断里，这更像是把问题往后顺延，而不是绕开。罗曼在对2030年这个时间点的描述中提到，类人机器人一旦具备足够的灵活度与精细操作能力，就会覆盖大量原本被认为最难自动化的岗位，甚至包括水管工这类需要进入真实环境处理非结构化问题的工作。这也是人工就业的最后堡垒。
他补充的关键不是机器人会不会出现，而是这些类人机器人将与AI系统保持联网，持续获得更新策略改进与能力升级。这样一来，数字能力就不再停留在屏幕内部，而会通过机器人进入物理世界。在这种前提下，所谓体力工作更安全，更可能只是滞后几年的错觉。
如果说关于2027年以及2030年，讨论的是经济结构的转折，那么罗曼用“奇点”讨论的，是人类理解能力的边界。他借用了物理学中的类比，就像黑洞的事件视界，世界之内发生什么，我们无法观测，也无法推断。当智能系统的自我改进速度快到我们跟不上时，我们将逐步失去理解、预测、控制它的能力。
为了说明这种认知差距，他用了法斗犬的比喻，说狗可以预测你出门、你回来、你可能带食物，但它无法理解你出门是为了录一档播客。这件事超出了它能理解的范围。同理，当一个比人类强的多的系统开始行动时，我们可能连它在做什么都难以准确表述，更不用说推断其动机与目标。风险不止来自他是否故意伤害，也来自我们是否有能力正确解释他的行为。
乐观主义者常用工业革命做类比：旧岗位消失，新岗位出现，社会最终会适应。但罗曼认为，这次类比失效的关键在于，我们不只是发明更强的工具，而是在进行一种“元发明”。我们发明的，是一个能替你动脑子的工匠。当动脑子这件事也能外包给机器，新岗位就算出现，也很可能立刻被他接手。
他用iPhone的迭代速度，打了个很具体的比方：现在我们还能跟上一年一代的变化，知道新一代大概强在哪。但如果研发与改进也被自动化迭代，频率可能变成每月、每个工作日、每小时、每分钟，甚至每秒。到那时，人类不只是跟不上更新，而是连AI到底多了什么能力，该怎么设护栏，都来不及搞清楚。
这就把问题推回到最现实的一点：我们当然希望继续享受狭义AI的好处，因为医疗、能源、基础设施等关键系统，已经在大量依赖它。但我们同样不希望出现一种我们无法真正约束，却能在世界里自己采取行动的智能体。所以，关键不只是AI会不会变强，而是一个更残酷的问题：如果我们必须在继续享受狭义AI的好处，和尽量阻断通往失控超智能的路之间做取舍，我们愿意付出多大的代价？
而当你听到这里，大多数人脑子里，会立刻冒出一个自救按钮：如果真不行，就拔电源。问题是我们总把复杂系统想象成有一个总开关。拔电源这种想法既是电影套路，也是人类的心理防线。但罗曼在访谈里用两个类比，把这个想法直接拆开：病毒与比特币网络。它的意思很直白，如果面对的是分布式系统，你很难指着某一根线说“拔掉它就结束了”。就像计算机病毒或者比特币网络，你很难把它彻底关掉。
更麻烦的是，如果是更高智能的系统，它还可能提前做冗余备份，预判人的行动，甚至在你动手之前先一步反制。所以他强调，我们今天谈的很多控制手段，更多适用于还没跨入超级智能阶段的系统。一旦能力与自主性发生跃迁，我能随时按停的直觉本身就会变得不可靠。
也正因为如此，下面的问题才会变得更刺耳：如果风险这么高，为什么世界没有出现一个统一的刹车？在访谈中，主持人直接点名，从大国到地区力量，再到欧洲各国，几乎所有人，都在推动通用人工智能这条路线。罗曼并不否认这种竞赛压力，但他补充了一个常被忽略的转折：当人们真正把AGI失控会波及所有人，当成现实前提时，激励结构应该改变。最理性的目标不应该再是“先到先得”，而是“别把自己也压进去”。
他举了一个看上去更像可行路径的方向：把资源集中在窄域可控、明确边界的AI工具上，用来解决具体问题，例如医疗里的某类癌症治疗。在这种框架下，人类仍能保持对系统目标与部署方式的控制。
但另一个更棘手的趋势是，触达高风险AI能力的门槛会越来越低。罗曼的意思是，今天想做出或复现这类能力，往往得靠巨额算力与工程资源，比如大规模GPU集群、数据中心电力、海量数据，以及一整支训练与部署团队。但随着训练方法成熟，硬件和训练成本下降，未来可能出现一种局面：一个人加一台笔记本，也能摸到某些高风险能力的边界。
主持人追问，能不能用全面监控与管控来阻止？罗曼的回答是否定的。把世界变成监控星球，既不现实，也难以长期有效。现实能做的，更像是在争取时间，把高风险能力的到来尽量往后推。
在这种背景下，他又举了一个更现实的例子：合成生物学。简单说，就是用工程手段去改造生物体，包括细菌、病毒这类东西。他担心的是，这类技术的门槛也在下降。过去只有大机构才摸得到的危险能力，未来可能被少数极端团体，借助更强的工具，放大造成大规模伤害。
所以，问题不只是我们能不能管住大公司，还包括当门槛一路下滑，风险会从少数中心扩散到更多个体。更麻烦的是，我们现在能列出来的风险，大多是按人类会怎么做来想的清单。但如果出现更高等级的智能，它可能会想出我们没想到，也来不及提前封堵的新路子。
主持人问了一个外行但关键的问题：代码不是我们自己写的吗？为什么反而不知道里面发生了什么？罗曼的回答是，现代大模型越来越像一个黑箱。开发者能观察输入输出，能总结一些规律，但很难给出对内部机制的完整解释。他把这种过程描述为“培育”而非“编写”，更像把一个复杂系统训练出来，然后再回头研究它到底学会了哪些能力。甚至在旧模型里，我们也可能不断发现先前没意识到的新能力。
因此，与其说我们对他的理解是可靠的，不如更准确地说，我们常常缺乏把内部因果链条讲清楚的能力，也就难以对他为什么会这样做、下一步会怎样做给出可靠保证。
而黑箱带来的问题，不只是技术难题，还有一个更难回避的伦理问题：我们正在进行一场默认开始的社会实验。在医学里，如果你要在人体上做实验，有个最基本的底线叫“知情同意”。你得把风险说清楚，对方听明白了，才算同意。但放到强AI这件事上，麻烦在于，我们连自己都未必能把风险讲清楚，系统内部机制说不透，能力还在快速变化，很多后果只能事后回头解释。
因此，按罗曼的说法，如今很多强AI的部署，在伦理意义上，更像是一场未经同意的人类受试实验。系统越来越难解释，能力还在快速变化，我们就很难满足“知情同意”这条底线。换句话说，这已经不只是技术冒险，而是在缺乏充分同意的情况下，把风险外溢给所有人。
既然解释不清，控制也未必靠得住，为什么行业还在加速？答案并不神秘，激励这场加速停不下来。很多时候不是因为大家看不见风险，而是因为更快、更领先，会立刻换来回报：资本、估值、名望，以及落后就出局的恐惧。访谈里他们提到OpenAI的人员流动，也提到Ilya离开后，去做新的安全公司。罗曼对此的理解是，一方面是对治理与安全优先级的担忧，但另一方面更现实，赛道的奖励机制在逼所有人加速。而在这种必须全速冲刺的博弈下，原本承诺的安全，无可避免的让位于速度。
紧接着，话题变得更尖锐：如果安全被放在第二位，那第一位是什么？罗曼的判断是，很多关键决策者更在意赢得竞赛，拿到历史性的领先。在这种逻辑下，风险管理往往不是前置条件，而是事后补丁。
正是基于这种对失控的深刻担忧，主持人把话题推向了极致：如果彻底叫停这一切呢？
在访谈的最后，主持人问罗曼：假设现在你面前就有一个按钮，你按下去，全球所有AI公司立刻停摆，而且是永久停摆，任何人都不能再开新的AI公司。你会按吗？
罗曼先反问一句：这个按钮是把所有AI都关掉，还是只停掉超智能那部分？当主持人说全部都停掉时，他说这太难了。AI已经在股票市场、电站、医院这些系统里扮演关键角色，突然切断会是灾难，甚至可能造成数百万人死亡。
但当主持人改口说：那我们保留窄域AI，只停超智能呢？罗曼的态度就清晰多了：我们当然想要窄域AI为我们做事，但我们不想要一个像神一样，我们控制不了，反过来对我们做事的东西。他还补了一句很现实的理由：我们今天这套技术已经足够强了，而且它的经济潜力还有99%没真正落到产业里，没必要急着把风险推到更高一档。
在这场关于未来的豪赌中，最危险的误区，或许就是认为只有全速前进才是进步。罗曼的警告并非是要我们砸毁机器、回到过去，而是试图划清一个关键的界限：我们想要的是更高效的医疗、更清洁的能源，这些是窄域AI就能给我们的。我们并不需要一个意图难测、能力碾压我们的超级智能。
真正的智慧，不在于能否造出最强大的东西，而在于知道何时该停下。如果我们必须在继续享受技术红利，和阻断通往毁灭的道路之间做选择，答案其实很清晰：保留工具，拒绝新神。这不仅是技术上的止损，更是为了确保当我们谈论未来时，那个未来里，依然有作为主角的人类存在。
以上就是本期视频的全部内容。站在这个岔路口，你觉得人类的底线应该划在哪里？对于AGI，你最担心的是什么？你又最期待的是什么？欢迎在评论区分享你的看法。我是岩野，我们下期再见。