OpenAI 研究员 Dan Roberts：物理学能为人工智能教会我们什么
摘要
Dan Roberts 是一位量子物理学家，曾在本科阶段研究"隐形斗篷"，在 MIT 获得博士学位，并在普林斯顿高等研究院（IAS）完成博士后研究。他于 2024 年加入 OpenAI，成为 o1（代号"草莓"）模型的核心贡献者。在本期对话中，Dan 从物理学家的视角出发，深入探讨了两个核心问题：物理学能为人工智能（AI）教会我们什么，以及 AI 又能反过来教会我们关于物理和数学的什么。
Dan 认为，物理学家之所以大量涌入 AI 领域，并非偶然。物理学的核心方法论——理论与实验之间的紧密反馈循环、通过统计平均从微观行为推导宏观规律的能力——与理解大规模深度学习系统所需的方法高度契合。他将深度学习中的"微观视角"（神经元、权重、偏置）与"宏观视角"（模型输出的诗歌、数学证明）之间的关系，类比为分子运动与热力学之间的关系。他相信我们能够真正理解这些 AI 系统，而非将其视为无法解释的"黑箱"。
关于规模化法则（Scaling Laws），Dan 指出纯粹依赖规模扩张终将面临经济上限，真正的突破需要超越规模的思想创新——这也是他加入 OpenAI 的原因。他认为数学问题因其"受约束"的特性可能比物理问题更容易被 AI 攻克，而物理学的开放性问题（如量子引力、黑洞内部发生了什么）则需要一种完全不同的 AI 方法。Dan 还分享了他独特的写作哲学：他写论文的目的是为了讲笑话，科学成果不过是包装笑话的载体。
正文
从好奇的孩子到量子物理学家
Dan Roberts 将自己成为理论物理学家的原因归结为一个简单的特质：他是一个从未长大的、总是追问"为什么"的"讨厌的三岁小孩"。他 19 个月大的儿子如今正表现出同样的好奇心——跟着洗衣机维修工转悠，非要看看洗衣机内部是什么样子。Dan 认为，当你更偏向定量思维而非定性思辨时，你会自然地转向物理学而非哲学——你想知道这个世界如何运转，想知道所有那些"外在的东西"到底是什么。
但真正的问题——"所有这些内在的东西（意识、思维）是什么"——在他看来更偏向人文学科，不够定量化。而 AI 的出现改变了这一点：AI 系统让我们可以用几行 Python 代码构建出能够做人类所做的事情（识别猫、写诗）的系统，并从头到尾追踪理解它们的工作原理。相比之下，研究人类智能需要跨越生物学、神经科学、心理学等多个层级——这种复杂性让 AI 成为了一个更容易研究的智能"样本"。
从"如果-那么"到机器学习
Dan 在本科时修过一门 AI 课程，但那时的 AI 是传统的"老派 AI"（Good Old-Fashioned AI）——大量基于"如果发生 A，就执行 B"的硬编码逻辑。他当时对此并不感冒，甚至一度放弃了 AI。但仅仅一两年后，他在英国读研究生时发现了机器学习——一种基于数据和统计的 AI 方法。这种方法的灵活性在于：你不需要为每一种情况编写规则，而是提供一个可以适应数据样本的"柔性"算法。
2012 年是深度学习的大年，Dan 恰好赶上了这波浪潮。机器学习的方法论让他感到熟悉——它大量借鉴了物理学的数学工具和思维方式。他意识到，这与他在物理学中习惯的研究框架高度一致。
为什么物理学家涌入 AI？
Dan 认为，物理学家"入侵"各个领域是一个历史悠久的传统——我们总是拿着自己的"锤子"去敲各种可能不是钉子的问题。历史上，物理学家曾大量涌入量化金融、数据科学。如今，AI/机器学习成为了新的目的地，因为它不仅是一个激动人心的研究问题，而且在方法论上与物理学高度相似。
物理学的核心工作方式——提出一个基于理论直觉的模型，通过大量实验验证或推翻它，在数据和理论之间形成紧密的反馈循环——这与研究大规模深度学习系统的方式如出一辙。物理学家习惯的数学工具（概率论、统计力学、信息论）恰好是理解神经网络的理想工具。正如蒸汽机的工程实践催生了热力学理论，深度学习的工程实践也需要类似的理论框架来理解。
微观视角与宏观视角：分子与热力学的类比
Dan 和他的同事 Sho Yaida、Boris Hanin 合著了一本书，试图将统计物理学的思想应用于深度学习。其核心理念是：深度学习系统中存在着类似于"分子"（微观）和"热力学"（宏观）的分层结构。
微观层面是神经元、权重、偏置——这些具体的数字和连接。宏观层面则是模型的行为——它能写诗吗？能解决数学问题吗？统计物理学的成功之处在于，我们能够从分子的统计行为出发，严格推导出宏观的热力学定律（如理想气体定律），甚至进一步推导出对理想模型的修正。Dan 认为，类似的方法论可以应用于理解 AI 系统——从参数的行为推导出模型的能力。
规模化法则的极限与思想的角色
当被问及 Andrej Karpathy 提出的"当前 AI 系统比生物神经网络效率低五到六个数量级"的观点时，Dan 区分了两个不同的问题。第一个问题是人类学习效率远高于 LLM——一个幼儿只需接触远少于万亿级别的 token 就能开口说话。他认为弥合这一差距需要"非平凡的想法"（nontrivial ideas）。
第二个问题涉及规模化法则的极限。GPT-4 之后还会有 GPT-5、GPT-6、GPT-7，但纯粹的规模化终将撞上经济天花板——训练一个价值超过全球 GDP 的模型是不现实的。因此，Dan 认为他加入 OpenAI 的原因正是相信在规模化之外还有高杠杆的思想创新空间。
关于 Richard Sutton 的《苦涩的教训》（The Bitter Lesson）——这篇著名文章论证了思想不重要、规模才是一切——Dan 持平衡的观点。他认为 Transformer 本身就是"为适应当时硬件而设计的好思想"，而深度学习、感知器（Perceptron）等概念也都是历经数十年积累的重要思想突破。规模化和思想创新之间不是非此即彼，而是一种协同关系。
我们能否真正理解 AI？
Dan 在 AI 社区中的"逆向观点"（contrarian position）是：我们能够真正理解这些 AI 系统，而不是将其视为不可解释的黑箱。他的信心来源于物理学处理极度复杂系统的成功经验。物理学中的一个核心原则是"大尺度极端简化"——由于统计平均效应（中心极限定理），大规模系统的行为往往可以用简单的规律描述。
当然，Dan 并非声称大语言模型（Large Language Model，LLM）会完美遵循同样的规律，但他相信物理学的工具箱——理论建模、实验验证、简化假设——可以帮助我们取得理解 AI 系统的实质性进展。他展望未来，希望 AI 工具（而非自主行动的"智能体"）能够帮助人类加速这一理解过程。
AI 能为物理学和数学做什么？
Dan 对 AI 在数学领域的应用更为乐观，因为数学问题更加"受约束"（constrained）。在棋类游戏中，AI 已经展示了超越模式匹配的能力——通过"推理时计算"（Inference Time Compute）进行向前模拟和搜索，而非仅依赖训练时学到的直觉。数学中的许多问题（如寻找证明路径）具有类似的"游戏"特征——存在明确的"下一步"和胜负判断标准。这使得数学成为 AI 推理能力自然延伸的领域。
物理学的情况则更为复杂。物理学家关心的问题（如量子引力、黑洞内部发生了什么）并不像"给定一个问题，生成对应答案"那样简单。物理研究的过程更像是在黑板上聊天、画草图、进行非正式的推理——数据的形态更像是随机的邮件、Slack 对话和草稿纸上的涂鸦。因此，AI 帮助物理学的方式可能需要完全不同的设计思路。
不过，Dan 仍然乐观地认为 AI 工具（如帮助理解新论文、加速文献调研）将在短期内对物理学家产生巨大影响——就像 Mathematica 能够计算积分一样，AI 将成为物理学家的得力助手。
"我写论文是为了笑话"
Dan 的写作风格以轻松幽默著称，这与大多数技术论文的严肃风格形成鲜明对比。他解释这是一种刻意的选择。在一次午餐对话中，他告诉普林斯顿高等研究院的教授 Nati Seiberg："我写论文的理由是为了笑话——你有一些想讲的笑话，然后你需要一个科学产品来包装它们，让人们被迫读到这些笑话。"
Seiberg 困惑地问："为什么不直接做科学？为什么要笑话？"Dan 坚持认为笑话和科学同样重要。他的写作哲学是：你学习了科学方法和正式规则，但随着成长，你意识到这些规则是可以打破的。最终的目标是让读者愿意读、能理解、并享受阅读过程——如果文章更有趣，人们就更有可能读完并理解其中的观点。
短中长期展望
Dan 对未来五年的预测是：规模化终将触顶，而届时的结果可能是两极化的——要么 AI 达到乌托邦式的后经济时代，要么我们将发现需要大量新思想的 AI 寒冬。他最期待的是看到 GPT-4 到下一代模型之间的"增量"——只有拥有多个数据点，我们才能真正评估技术进步的速度。
Dan 以物理学家的幽默结束了对话："在物理学中只有三个数字——零、一和无穷大。其他数字都不重要。"这句玩笑话既体现了他对物理学的热爱，也反映了他面对不确定未来时的轻松态度。