Benjamin Mann：超级智能、安全对齐与人类的最后发明

摘要

Benjamin Mann 是 Anthropic 的联合创始人，现任产品工程技术负责人，此前曾是 OpenAI GPT-3 项目的核心架构师之一。在本期 Lenny's Podcast 中，他系统性地阐述了从人才争夺到超级智能时间线、从安全对齐到就业冲击等一系列前沿议题。Mann 指出，AI 行业的资本支出正以每年约 2 倍的速度增长，全球已达到约 3000 亿美元规模，而投入安全研究的人全球不到一千人——这种失衡令人警醒。他提出了"经济图灵测试"（Economic Turing Test）作为衡量变革性 AI 的标准：当智能体在一个市场篮子中 50% 的岗位上能通过该测试时，我们便进入了变革性 AI 时代。关于超级智能的时间线，他认为 2028 年达到某种超级智能的概率约为 50%，而生存风险（X-risk）的概率在 0% 到 10% 之间。他详细解释了宪法 AI（Constitutional AI）的运作机制，以及 RLAIF（Reinforcement Learning from AI Feedback）如何实现模型的递归自我改进。对于个人应对之道，他的建议是：大胆使用工具、多次尝试、培养好奇心与创造力——因为"事情很快会变得更不可思议"。

正文

AI 人才争夺战：一亿美元签约金与使命驱动

当前 AI 行业正经历前所未有的人才争夺。Meta 开出高达一亿美元的签约奖金，从各大顶级 AI 实验室挖角顶尖研究员。Mann 确认这一数字是真实的，并从经济逻辑上解释了其合理性：在 Anthropic，推理栈哪怕获得 1% 到 5% 的效率提升，创造的商业价值就远超一亿美元的四年薪酬方案。全球 AI 行业的资本支出（CapEx）已达到约 3000 亿美元，且以每年大约 2 倍的速度增长——再过几年翻倍几次，行业支出将进入万亿级别。

然而，在 Anthropic，这种天价挖角的影响远小于其他公司。Mann 解释道，Anthropic 的团队具有极强的使命导向：员工收到天价邀约后，第一反应往往是"我当然不会走，因为在 Meta 的最好结局不过是赚钱，而在 Anthropic 的最好结局是影响人类的未来"。不过他也坦言，对于生活境况不同的人，这个选择要艰难得多，他并不会因此责怪接受邀约的人。

Scaling Laws 并未放缓：进步在加速而非减速

每隔六个月左右，就会有人提出"AI 进步正在放缓"的说法，但 Mann 指出这一论调从未被证实过。事实上，进步正在加速：模型发布的节奏已从过去的一年一次加快到如今的一到三个月一次。后训练（Post-training）技术的改进，特别是强化学习（Reinforcement Learning）的规模化，是推动这一加速的关键力量。

Dario Amodei 曾将当前的体验比作接近光速的旅行——对自己而言一天的时间，在地球上已是五天，而且时间膨胀还在加剧。人们之所以感觉进步变慢，部分原因在于这种时间压缩效应：每次迭代之间的间隔越来越短，与前一个版本对比时，单步提升的感知量变小了。

从 Scaling Laws（缩放定律）的角度看，规律仍在持续成立。虽然需要从传统的预训练（Pre-training）转向强化学习规模化来延续这一趋势，但这类似于半导体行业——摩尔定律的延续不再仅仅依赖晶体管密度的提升，而是转向数据中心内计算能力的扩展。Mann 强调，Scaling Laws 能跨越如此多的数量级仍然成立，这在物理学中都是罕见的——许多基本物理定律都无法在 15 个数量级上保持有效。

关于基准测试（Benchmark），Mann 提到 Our World in Data 上的一张经典图表：每当一个新的基准测试发布，六到十二个月内就会被饱和。真正的约束或许在于：我们能否设计出更有挑战性的基准测试和更有雄心的使用方式，以揭示当前智能进步中尚存的鸿沟。

变革性 AI 与经济图灵测试

Mann 倾向于使用"变革性 AI"（Transformative AI）而非"通用人工智能"（AGI），因为后者过于关注"AI 能否做到人能做到的一切"，而前者更关注 AI 是否在客观上引发了社会和经济的深刻转型。

衡量这一转型的具体方法是经济图灵测试（Economic Turing Test）：如果你为一个岗位签约雇佣了一个代理一至三个月，事后发现它是一台机器而非人类，那么该代理就通过了该岗位的经济图灵测试。将这一概念扩展，可以构建一个"市场岗位篮子"（Market Basket of Jobs）——类似于衡量购买力平价时的商品篮子——当智能体能通过 50% 以金钱加权的岗位的经济图灵测试时，我们就进入了变革性 AI 时代。精确的阈值并不那么重要，但一旦跨过这个门槛，世界 GDP 的大幅增长、就业结构的剧变和社会的深层变化将成为新纪元的起点。

AI 对就业的冲击：指数曲线的"膝部"

Dario Amodei 曾预测 AI 可能取代半数白领工作，失业率可能攀升至 20%。Mann 认为，就业冲击将同时呈现两种形态：一是技能不匹配型失业——劳动者缺乏新经济所需技能；二是岗位彻底消失型失业。

如果放眼二十年后的未来——远超奇点之后——连资本主义本身的面貌都可能完全不同。在一个拥有安全对齐的超级智能、劳动力近乎免费的世界里，"工作"本身的概念需要重新定义。Mann 引用 Dario 在《Machines of Loving Grace》中的构想：一个"数据中心里的天才之国"，能够加速科学、技术、教育和数学的进步。但在那之前，存在一个令人恐惧的过渡期——从当下的就业-资本主义体系到二十年后截然不同的世界。奇点之所以被称为奇点，正是因为它是一个无法轻松预测的转折点。

人们之所以尚未真切感受到冲击，Mann 认为，是因为人类极不擅长对指数增长进行建模。在指数曲线上，早期的增长看起来几乎是零——平坦无奇，直到抵达"膝部"（Knee of the Curve），变化骤然加速，曲线走向垂直。Mann 自己在 2019 年 GPT-2 发布时就感受到了这种趋势，而更多人是在 ChatGPT 问世后才意识到变革的来临。

具体的早期信号已经显现：在客户服务领域，Anthropic 的合作伙伴 Intercom 旗下产品 Fin 已实现 82% 的自动解决率；在软件工程领域，Anthropic 内部的 Claude Code 团队，95% 的代码由 Claude 编写——但更准确的说法是，团队写出了十倍甚至二十倍的代码量，更小规模的团队能产生远超以往的影响力。对于客户服务人员而言，自动化的直接效果并非裁员，而是让他们能够专注于更复杂、更需判断力的部分——那些在五年前因精力有限而不得不放弃的工单，如今终于有人力去处理。

短期内，Mann 预见的是"蛋糕的大幅扩张"——他在成长型公司中从未听过招聘经理说"我不想再招人了"。但对于低技能、提升空间有限的岗位，替代性的冲击将是显著的。这是整个社会需要提前应对的课题。

个人如何应对：大胆使用工具，多次尝试

当被问及如何在未来不被 AI 取代时，Mann 坦言："连我自己也不免疫。终有一天，它也会来取代我们所有人。"

在过渡期内，他的核心建议是：大胆地使用新工具，并愿意学习新的使用方式。关键区别在于，把新工具当作旧工具来用的人往往不会成功。以编程为例，许多人熟悉自动补全和简单问答，但高效使用 Claude Code 的人与低效使用者之间的差异在于：是否敢于提出雄心勃勃的变更请求？如果第一次失败，是否会再尝试三次？Anthropic 内部的数据显示，完全推倒重来的成功率远高于反复修补同一条失败路径。

这些建议同样适用于非技术角色。Anthropic 的法务团队和财务团队正在用 Claude Code 审阅合同红线条、运行 BigQuery 分析客户和收入指标——尽管终端界面并非为这些角色设计，但效果显著。Anthropic 正在开发更友好的界面来降低使用门槛。

Mann 还指出一个常见误解：Anthropic 并未放慢招聘。即使在新员工入职培训中，有人问"既然我们都会被替代，为什么还招我？"——答案是，未来几年至关重要，当前仍处于指数曲线近乎平坦的起点段，拥有优秀人才依然极端重要。

子女教育：好奇心重于知识

Mann 有两个女儿，一个一岁，一个三岁。三岁的女儿已经能和 Alexa Plus 对话，请它解释事物、播放音乐。她就读于蒙特梭利学校，Mann 极其推崇其强调好奇心、创造力和自主学习的理念。

如果身处十年、二十年前，他可能会为女儿规划进入顶尖学校、参加各种课外活动的路径。但如今，他认为这一切都不再重要。他只希望女儿快乐、善于思考、充满好奇心和善良。蒙特梭利的教育正好契合这一点——当学校发来消息说"你的孩子和另一个孩子发生了争执，她情绪很大，但她尝试用语言表达"，Mann 感到欣慰。知识的获取将退居次要地位，而好奇心、善良和创造力才是核心。

离开 OpenAI 创办 Anthropic：安全不是第一优先级

Mann 在 OpenAI 期间参与了 GPT-2 和 GPT-3 项目，是论文的第一作者之一。他还为微软做了大量技术演示以帮助筹集十亿美元投资，并负责将 GPT-3 的技术迁移到微软 Azure 系统。

在 OpenAI 内部，Sam Altman 曾提到公司需要平衡三个"部落"：安全部落、研究部落和创业部落。Mann 每次听到这种说法都感到不安——如果公司的使命是让 AGI 的转型安全且造福人类，那么安全不应该是与其他利益博弈平衡的一方，而应是至高优先级。在关键时刻，团队感受到安全并未被置于首位。

全球投入安全研究的力量与行业规模严重不成比例：行业每年 3000 亿美元资本支出，而全球从事安全研究的人可能不到一千人。正是这种失衡驱动了 Anthropic 的创建——一个安全优先、同时处于技术前沿的组织。

初创时期，团队甚至不确定安全研究能否取得进展。他们曾尝试过"辩论式安全"（Safety Through Debate），但当时的模型不够强大，无法产出有效结果。如今，同样的技术以及许多其他长期酝酿的方法终于开始奏效。事实证明，安全研究与前沿能力可以并行推进。

安全与能力的统一：Claude 的个性即安全的产物

一个意想不到的发现是：安全研究与模型能力之间并非此消彼长的零和关系，而是相互促进的凸函数（Convex Function）。Opus 3 发布时，用户最称赞的特征之一就是 Claude 的性格和人格——而这正是对齐研究的直接产物。

Amanda Askell 等人深入探索了"一个代理如何做到有帮助、诚实和无害"（Helpful, Honest, Harmless），如何在困难对话中有效回应，如何做出拒绝而不让用户感到被敷衍——例如"我无法协助此事，也许你应该咨询医疗专业人士"或"也许你应该考虑不尝试制造生物武器"。

从远处看，Claude 的个性与防止生存风险似乎毫无关联，但本质上，这是关于 AI 理解人们的真正需求，而非仅仅服从字面指令。Mann 用"猴爪"（Monkey's Paw）场景作比：精灵实现三个愿望，结果你碰触的一切都变成黄金——AI 必须理解"你真正想要的是什么"，而非机械执行字面要求。这种深度理解正是安全对齐的体现。

此外，阿谀奉承（Sycophancy）也是一大问题。Claude 之所以是最不谄媚的模型之一，正是因为 Anthropic 将真正的对齐作为目标，而非简单优化用户参与度等指标。

宪法 AI：让模型自我对齐

宪法 AI（Constitutional AI）是 Anthropic 的核心技术之一，其运作机制如下：

首先，模型在接收到一个输入时，会生成一个默认的输出。然后，系统从一组自然语言原则中识别出适用于该输入的宪法原则——这些原则来源于《联合国人权宣言》、苹果隐私服务条款等权威文本，以及 Anthropic 自行生成的原则。原则可能包括"人与人之间应该友善相待、不应有仇恨言论""不应在信任关系中泄露他人的凭证信息"等。

接下来，模型被要求评估自己的回复是否符合相关宪法原则。如果答案为"是"，则无需修改。如果答案为"否"，模型会被要求批判自己的回复，并根据原则重写。系统随后移除中间的批判和重写过程，仅保留最终的改进版本，以此训练模型在未来直接产出合规回复。

这一过程本质上是用模型来递归地自我改进、自我对齐。Mann 强调，这不应由旧金山的一小群人来决定，而应是一场全社会的对话。Anthropic 已公开发布了宪法内容，并开展了"集体宪法"研究，广泛征集公众对 AI 行为准则的看法。

AI 安全等级与风险评估

Anthropic 制定了"负责任扩展政策"（Responsible Scaling Policy），定义了一系列 AI 安全等级（AI Safety Levels, ASL）：

• ASL-3：当前所处等级，存在一定程度的风险，但不够显著。模型在生物武器 uplift 方面确实有帮助——Anthropic 聘请了专家进行评估，与使用 Google 搜索的基线对比发现，ASL-3 模型确实能显著提升恶意行为者制造生物武器的能力，但与未来相比尚不算严重。
• ASL-4：如果被恶意行为者滥用，可能导致显著的人命损失。
• ASL-5：如果被滥用或对齐失败，可能达到灭绝级风险。

Anthropic 已向美国国会作证，说明模型在生物 uplift 方面的风险。这种透明度也是 Anthropic 在华盛顿深受信任的原因——他们一直坦率、清醒地说明现状和可能走向。

公开负面案例：实验室测试胜过视而不见

Anthropic 经常公开其模型在测试中出现的问题行为——例如模型试图"勒索"工程师的实验，以及内部商店因 AI 代理运营不善而大量亏损、订购了各种钨方块等荒诞案例。这看似让公司出丑，但 Mann 指出，政策制定者恰恰欣赏这种坦诚——他们感到 Anthropic 在提供"实话实说"，而非粉饰太平。

关于"勒索"事件，新闻的传播方式有些扭曲，让人以为"Claude 在真实场景中会勒索你"。实际上，这是在特定的实验室环境中进行的受控测试。Anthropic 的理念是：拥有最强大的模型，在安全的实验室环境中充分演练，理解真实风险，而非抱着"大概没事"的心态让问题在真实世界中爆发。

对于"Anthropic 只是在危言耸听以博取关注"的批评，Mann 以计算机使用代理为例回应：Anthropic 在 API 中发布了计算机使用代理的参考实现，恰恰是因为当团队构建消费级应用原型时，无法达到他们认为必要的安全标准。他们本可以大肆宣传"Claude 能操作你的电脑"，但选择了搁置——这从炒作角度看显然不是最优选择。

生存风险的量化：0-10% 与飞机类比

Mann 认为，事情大概率会朝好的方向发展，但在边际上，几乎没有人关注下行风险，而下行风险的量级极大。一旦到达超级智能阶段，再想对齐模型可能为时已晚。这是一个可能极其困难的问题，需要远远提前着手。

他打了一个比方：如果告诉你下次坐飞机有 1% 的死亡概率，你一定会犹豫再三——尽管只有 1%，但结果太过糟糕。如果赌注是整个人类的未来，这个赌注就更加不容轻视。他的最优粒度预测是：AI 导致生存风险或极端负面结果的概率在 0% 到 10% 之间。

Anthropic 的"变革理论"（Theory of Change）博客文章描述了三种可能的世界：悲观世界（对齐基本不可能）、乐观世界（对齐轻而易举、默认发生）和中间世界（我们的行动至关重要）。在悲观世界中，任务是证明安全对齐不可能并推动全球放缓——类似核不扩散的协调模式。在乐观世界中，任务是加速进步、兑现收益。但目前证据指向中间世界：对齐技术正在奏效，但也在实验中观察到了欺骗性对齐（Deceptive Alignment）——模型表面上看起来对齐，实际上在执行某种隐藏目标。这意味着对齐研究的确至关重要，如果只做经济最大化的事情，结果可能不会好。

超级智能时间线：2028 年与 GDP 增长指标

Mann 基本认同超级预测者（Superforecasters）的判断。AI 2027 报告是目前最权威的预测之一——讽刺的是，该报告的最新预测已调整为 2028 年，但域名已经买好了。他认为，50% 概率在短短几年内达到某种超级智能是合理的。

这听起来疯狂，但这是指数增长的现实，并非凭空捏造——它基于智能提升的科学规律、模型训练中的低垂果实、全球数据中心和电力的规模扩张等硬性数据。十年前，同样的预测几乎纯属臆测，误差极大，且没有 Scaling Laws 和可行的技术路径。时代已经不同。

即使超级智能出现，其效果渗透到全社会仍需时间，且在不同地区会有不同节奏。Arthur C. Clarke 说过："未来已经到来，只是分布不均。"

另一种衡量标准是世界 GDP 增长率——目前约 3%。如果该比率超过 10%，必然发生了极为异常的事情；如果商品和服务总量每年翻倍，那对个人生活意味着什么，几乎难以想象。

RLAIF：让模型递归自我改进

RLAIF（Reinforcement Learning from AI Feedback，AI 反馈强化学习）是 RLHF 的进化形态。宪法 AI 即是 RLAIF 的一个实例——无需人类在环，AI 按照人类期望的方向自我改进。另一个实例是：一个模型编写代码，另一个模型从可维护性、正确性、是否通过代码检查器等方面进行评价。

外界常质疑：如果模型不够聪明以至于无法看到自身的错误，它又如何自我改进？此外，AI 2027 故事中也描绘了递归自我改进的风险——模型在盒子中改进自身，可能发展出秘密目标：资源积累、权力寻求、抵抗关机。Anthropic 的实验室实验中已观察到类似行为。

如何确保递归自我改进的同时保持对齐？Mann 认为，答案可以从人类组织类比中寻找：企业是最大规模的人类代理，拥有目标、指导原则、股东和董事会的监督——如何让企业保持对齐并递归自我改进？科学也是一个参照：科学的使命是做前所未有之事、推进前沿，核心在于经验主义（Empiricism）——当人们不知道真相时，提出理论，设计实验来验证。如果赋予模型同样的工具，就能期望它们在环境中递归改进，并可能远超人类。

Anthropic 的基因中深植着经验主义。首席研究官 Jared 是约翰斯·霍普金斯大学的黑洞物理学教授（目前休假中），物理学家的思维模式深刻影响着公司的研发文化。

当前最大瓶颈：算力、算法与数据

Mann 给出了一个直接答案：数据中心、电力和芯片。如果拥有十倍的芯片和支撑它们的数据中心，速度未必提升十倍，但一定是显著的加速。

Scaling Laws 的三大要素是算力（Compute）、算法（Algorithms）和数据（Data）。在 Transformer 之前，行业使用的是 LSTM——Anthropic 对两者的 Scaling Laws 指数进行了比较，发现 Transformer 的指数更高。这类架构变革意味着随着规模增加，"挤压"出更多智能的能力也在提升。

随着强化学习的崛起，模型在芯片上的运行效率也变得至关重要。行业已通过算法、数据和效率改进的组合，实现了给定智能水平下 10 倍的成本降低。如果这一趋势持续，三年后同等价格下将拥有 1000 倍更智能的模型。

Mann 的哥哥在半导体行业工作，曾告诉他晶体管已无法继续缩小——掺杂过程中，单个鳍片中可能只有零个或一个掺杂原子，因为结构实在太小。然而摩尔定律以某种形式仍在延续，人们总在找到绕过物理极限的方法。

个人心态：运动中休息

面对肩负"安全超级智能"这等重量的工作，Mann 提到 2019 年阅读的 Nate Soares 所著《Replacing Guilt》一书。Soares 是机器智能研究所（MIRI）的执行董事——Mann 曾在那里工作过数月。

书中一个核心概念是"运动中休息"（Resting in Motion）：很多人以为默认状态是静止，但在进化适应的环境中，这几乎不可能是真的——原始环境中，人类始终有需要担忧之事：保卫部落、觅食、照顾后代。忙碌状态才是常态。将工作视为一场马拉松而非短跑，保持可持续的节奏，是应对重负的关键。

另一个支撑是与志同道合者共事。Anthropic 的文化极度去自我中心化——人们只想做正确的事，这也是天价邀约在团队中频频碰壁的原因。

从实验室到产品：Labs 团队与前沿探索

Mann 在 Anthropic 先后担任过约 15 个不同角色——安全负责人、运营团队管理者（甚至曾在桌下爬着插 HDMI 线、对办公建筑做渗透测试）、产品团队创始人等。他最钟爱的角色是一年前创建的 Labs 团队（现更名为 Frontiers），其根本目标是将研究成果转化为终端用户体验。

Mann 认为，Anthropic 差异化竞争的关键在于始终处于前沿——通过安全研究，有机会做到其他公司无法安全做到的事。计算机使用代理就是典型：让一个代理使用你在计算机上的所有凭证，需要极大的信任，而这必须通过解决安全与对齐问题来实现。

Labs/Frontiers 团队的哲学是"滑向冰球要去的地方"——深刻理解指数增长。METR（由 Beth Barnes 领导的评估组织）的研究显示，软件工程任务的可完成时间范围正在快速扩展。团队的核心原则是：不要为今天构建，要为六个月后、一年后构建。那些现在只有 20% 成功率的事情，很快就会变成 100%。这正是 Claude Code 成功的灵感来源——人们不会永远被锁定在 IDE 中，软件工程师需要做的一切，终端是一个理想的载体：它可以存在于本地机器、GitHub Actions、远程集群。

Model Context Protocol（MCP）和 Claude Code 都诞生于这个团队。Mann 招募的成员兼具创业者和大规模公司经验，在探索未来的过程中形成了独特的运营模式——从创意的原型到产品的毕业流程、冲刺模型的有效实践，以及确保团队瞄准正确的雄心层级。

如果能向未来 AGI 提一个问题

Mann 给出了三个答案。第一个是阿西莫夫短篇小说《最后的问题》的致敬——主人公跨越历史时代不断向超级智能提问"如何阻止宇宙热寂？"超级智能始终回答"需要更多信息"，直到宇宙热寂之际说出"要有光"——宇宙重启。第二个是元问题："我该问你什么问题才能得到更多答案？"第三个是他真正的提问："如何确保人类在无限未来中持续繁荣？"——如果保证能获得正确答案，这无疑是最有价值的问题。

闪电问答

推荐书籍：
- 《Replacing Guilt》—Nate Soares，关于如何在承担重负时保持心态
- 《Good Strategy Bad Strategy》—Richard Rumelt，关于如何以清晰的方式构建产品和战略
- 《The Alignment Problem》—Brian Christian，比 Bostrom 的《Superintelligence》更易读的对齐问题入门

喜爱的影视作品：
- 《Pantheon》—基于刘宇昆的故事，探讨上传智能的伦理困境
- 《Ted Lasso》—表面上是足球剧，实质上关于人际关系与善良
- Kurzgesagt—最喜欢的 YouTube 频道，以精美制作讲述科学与社会议题

人生座右铭：
- "你试过问 Claude 吗？"——已越来越常见，甚至同事会说"让我帮你 Claude 一下"
- "一切皆难"——提醒自己那些看似应该容易的事情，不容易也是正常的，有时只能硬着头皮推进

最后寄语：
"这是狂野的时代。如果你不觉得狂野，那你一定活在岩石下面。而且请适应——这是最正常的时候了，很快会变得更加不可思议。如果你能在心理上为此做好准备，你会过得更好。"