OpenAI 研究员谈为何软技能是工作的未来

摘要

Karina Nguyen 是 OpenAI 的 AI 研究员，曾参与构建 Canvas、Tasks、o1 推理链模型等核心产品功能。此前，她在 Anthropic 主导了 Claude 3 模型的后训练与评估工作，并打造了支持 10 万上下文窗口的文件上传功能。她还是纽约时报的前工程师、Dropbox 和 Square 的前设计师——这种横跨工程、设计与研究的独特背景，使她对 AI 的发展方向有着罕见的洞察力。

在本期对话中，Karina 从模型训练的内部机制出发，揭示了"训练模型更像艺术而非科学"的本质——数据质量的把控、行为边界的调试，以及模型在"没有身体"这一认知上的困惑。她详细阐述了合成数据（Synthetic Data）如何驱动 Canvas 和 Tasks 的快速迭代，并深入拆解了评估体系（Evals）在 AI 产品开发中的核心地位。更重要的是，Karina 基于自身从工程师转向研究的经历，提出了一个引人深思的判断：随着模型在编码、设计等硬技能上不断突破，创造力、共情力、管理能力等软技能将成为人类不可替代的核心竞争力。她还分享了对 Anthropic 与 OpenAI 两种文化差异的观察——前者精于匠心与聚焦，后者擅长冒险与创新——以及对未来人机协作形态的大胆想象。

正文

模型训练：艺术而非科学

Karina 开宗明义地指出，模型训练（Model Training）更像一门艺术而非科学。作为模型训练者，她最关注的核心问题是数据质量——如何为特定的交互模型行为确保最高质量的数据。然而，调试模型的方式与调试软件有着惊人的相似性。

她在 Anthropic 参与 Claude 3 训练时发现了一个有趣的案例：当你教会模型"你实际上没有物理身体来操作物理世界"这一自我认知时，模型会变得极度困惑。与此同时，训练数据中又包含了函数调用（Function Call）的内容，例如"这是你设置闹钟的方式"。模型便陷入了矛盾——它不知道自己到底能不能设置闹钟，因为它被告知自己没有身体。结果是模型有时会过度拒绝，直接说"抱歉，我帮不了你"。这就引出了模型训练中的永恒平衡：如何让模型既对用户更有帮助，又不在其他场景中造成伤害——始终要在多样化和鲁棒性（Robustness）之间寻找最佳权衡。

数据墙与合成数据

关于业界盛传的"数据墙"（Data Wall）说法，Karina 认为需要分两层来看。在预训练（Pre-training）阶段，大模型确实是在整个互联网上训练以预测下一个词元（Token），但模型在此过程中学到的远不止词元预测——它实际上在学习一种压缩算法，学会了对大量知识的压缩和对世界的建模。比如当用户说"教我开车"，模型能预测出"汽车"这类关联词，这表明它确实在理解世界。

然而，真正打破数据墙的是后训练（Post-training）阶段的新范式。以 o1 系列为代表，后训练通过强化学习（Reinforcement Learning）可以向模型教授无限量的任务——如何搜索网页、如何使用计算机、如何写作等等。因为任务的数量是无限的，所以不存在所谓的数据墙。模型正因此变得越来越强大，以至于在各类基准测试（Benchmark）上已经趋于饱和。

Karina 指出，真正的瓶颈其实在于评估（Evaluation）。现有的前沿评估如 GPQA（Google-proof Question Answering，博士级智能问答），模型得分已超过 60%—70%，相当于博士水平。评估体系正在触及天花板，而不是数据。

关于合成数据（Synthetic Data），Karina 解释说，部分任务确实是由模型合成构建的——这是一个活跃的研究领域。有时产品开发会产生大量用户数据和反馈，这些数据也可用于后训练。但某些高度专业化的任务仍需要人类专家的知识，比如化学或生物学领域。在她看来，合成数据训练更适用于产品场景——实现针对特定产品目标的快速模型迭代。Canvas、Tasks 等 ChatGPT 新功能的开发，主要就是依靠合成训练完成的。

Canvas 的诞生：从聊天机器人到协作代理

Karina 加入 OpenAI 后，怀着一个核心愿景：让 ChatGPT 从单纯的聊天机器人进化为协作代理（Collaborative Agent），而协作者是通往更自主的系统乃至创新者的必经之路。Canvas 项目由此诞生——这是 OpenAI 第一个从一开始就让研究员和应用工程师共同参与产品开发周期的项目。

团队以极快的节奏迭代，核心方法是通过合成数据训练模型。对于 Canvas，团队将产品行为提炼为三大核心：

第一，触发行为。 何时应该触发 Canvas？当用户说"帮我写一篇长文"时，意图是迭代长文档，应该触发；当用户说"能告诉我关于某总统的……"这类一般性问题时，意图是获取答案而非迭代文档，不应触发。

第二，编辑行为。 如何教会模型更新文档？团队赋予模型一定的自主性（Agency），让它能够定位到文档中的特定段落进行高亮、删除或重写。例如用户说"把第二段改得更友好一些"，模型需要精准找到第二段并调整语气。在编码场景中，还存在"完全重写整篇文档"与"精准定向编辑"之间的决策边界。最初发布时，模型偏向重写，因为重写质量更高；但随着用户反馈的积累，这一倾向逐步调整。

第三，评论行为。 如何让模型对文档做出有意义的评论？团队利用 o1 模型生成对话场景——先让 o1 生成一篇文档，然后注入用户提示"对我的写作提出评论"，再教会模型在文档的特定位置做出评论。评论的质量如何衡量、是否合理，这些都归结为通过鲁棒的评估来衡量进展。

Lenny 总结道：合成数据训练的本质，就是向模型展示"成功长什么样"，以此教会它应该怎么做。Karina 确认了这一理解。

评估体系：AI 产品开发的核心基础设施

Karina 的日常工作中，大量时间花在评估体系的搭建上。她分享了多种评估类型：

确定性评估（Deterministic Evals） 适用于决策类行为。例如，产品经理或模型设计师（Model Designer）梳理用户对话场景，标注"这种对话应该触发 Canvas，这种不应触发"，形成通过/失败的二元判断。在 Tasks 功能开发中，"用户说下午 7 点，模型就该输出下午 7 点"这类评估就是确定性的。她常要求产品经理创建 Google 表格，分设不同标签页记录当前行为、理想行为和原因备注。这些表格既可用于评估，也可输入 o1 模型让其自主学习良好行为。

人类评估（Human Evals） 则更适用于质量判断场景。由特定训练师或内部人员面对同一提示下多个模型的输出，选择胜出者，形成连续的胜率（Win Rate）曲线。随着新模型开发，它应始终胜过前代模型。

Karina 强调，最鲁棒的评估是那些提示词基线（Prompted Baseline）得分很低的评估——这样你才知道训练后的模型确实在进步。但难点在于：优化某一行为时不能让模型在其他智能领域退化——这种情况在每个实验室、每个研究团队中都在发生。这正是"艺术而非科学"的体现。

Lenny 敏锐地指出，产品开发可能正从"写 PRD、一起构建、审核验收"的模式转向"让 AI 构建功能，人类专注于定义'正确长什么样'"——即评估优先的模式。

提示词即原型：新的产品开发方式

Karina 在 Anthropic 期间有一个重要发现：提示词（Prompting）正在成为产品经理和设计师的新原型工具。她在开发 10 万上下文窗口的文件上传功能时，只是在本地浏览器中用提示词做了个原型演示，同事们的反应非常热烈——他们直接想要文件上传的 API。这让她意识到，提示词是一种全新的产品原型开发方式。

另一个例子是个性化起始提示词（Personalized Starter Prompts）功能——用户打开 Claude 时，系统根据其兴趣推荐起始提示词，这完全可以通过提示词来原型验证。

还有一个她特别引以为豪的微体验：对话标题自动生成。团队取用户最近五次对话，让模型分析用户的风格偏好，然后为新的对话生成与之风格一致的标题。这种细腻的个性化体验，都是通过提示词原型快速验证的。

Tasks 功能：从零到一

Canvas 和 Tasks 属于短中期项目。Tasks 虽然并非突破性功能，但其魅力在于模型已经足够通用——可以搜索、可以写科幻故事、可以查股票、可以每日摘要新闻——而通知和提醒是用户非常熟悉的形式，加上 AI 的"魔力时刻"，就变得非常强大。

开发流程通常始于一个人的提示词原型和行为规格（Spec）——类似于 PRD。以 Tasks 为例，核心设计问题是：当用户说"明天早上 8 点提醒我吃午饭"时，模型需要提取哪些信息来创建提醒？这本质上就是设计思维——定义工具栈（Tool Stack），开发 JSON 模式（Schema），明确模型应提取的时间格式、用户指令如何转化为定期执行的任务。

团队组建通常包括产品经理、模型设计师、产品设计师、若干研究员和应用工程师，规模取决于项目复杂度。Tasks 从零到一用了大约两个月，Canvas 用了四到五个月。

Karina 特别偏爱纯合成数据而非人类数据采集，原因在于合成数据更具可扩展性、成本更低，且通过采样模型并教授核心行为，就能泛化到多种多样场景。Beta 版上线后，用户反馈可以快速修正合成数据集的分布偏移，推动产品持续改进——Canvas 从 Beta 到正式版（GA）的演进就是如此。

研究与产品：两种节奏

Karina 的团队工作分为两个层面。产品导向的研究（Product Research）聚焦短中期项目如 Canvas 和 Tasks。另一层面则是更长期的探索性项目——开发新方法、理解方法在各种条件下的表现，评估体系也更为复杂，需要捕捉分布外（Out-of-distribution）数据和泛化能力。

以合成数据为例，当前最大的难题之一是多样性（Diversity）——如何让合成数据更加多样化？探索通用方法以注入多样性，是一个重要的研究方向。另一个方向是开发新能力：当新方法出现"生命迹象"（Signs of Life）——即初步验证有效时，要么思考如何让它更通用，要么思考如何让它更有用。长期项目就这样逐步转化为中短期项目。

Lenny 将此概括为：本质上就是在开发让模型更聪明的方法——o4、o5、o6……

软技能的未来：AI 时代人类的核心竞争力

Karina 分享了她的职业转折故事：初到 Anthropic 时，她非常热爱前端工程。但当她意识到 Claude 正在前端和编码方面越来越强、甚至能独立开发新应用时，她做出了转向研究的决定——因为 AI 更需要她来让它变得更聪明。

这一亲身经历引出了她对未来技能的核心判断：软技能将比硬技能更加重要。

创造力。 生成大量想法并从中筛选，构建最佳产品体验——这是模型难以替代的。Karina 认为，AI 领域的人反而应该更有创造力，跨越不同领域连接知识点，开发全新的交互范式。"我们根本没有解决这个问题，"她说。

倾听与用户反馈。 打造针对特定用户群体的极致体验，护城河（Moat）不在于技术本身，而在于你是否真正倾听用户、能否快速迭代。用户反馈本身就是护城河。

管理与人员技能。 Karina 认为 AI 研究的进度实际上受限于研究管理（Research Management）。有限的计算资源需要分配到最有信心的研究路径上——这是投资回报率的决策。哪些项目优先级更高？哪些实验值得立即运行、哪些可以砍掉？优先级排序、沟通、协作——这些都是管理核心。Canvas 的成功发布不是因为技术，而是因为人——她有机会与 GraphQL 联合创造者 Lee Byron 以及顶级苹果设计师共事，人与人之间的协作方式仍是人性化的。

审美与视觉设计。 教会模型做审美判断或视觉设计极其困难。ChatGPT 的写作能力仍然不佳，卡在创造性推理上。模型缺乏足够的来自高品味、高创造力人群的学习样本——能够教导模型辨析优秀视觉设计的人才本身就稀缺。

共情与情感智能。 理解人、与人协作的能力——这是模型最薄弱的环节之一。

策略与 AI：连接点的力量

Lenny 提出了一个有争议的观点：策略（Strategy）是 AI 将会越来越擅长的领域。他的逻辑是——策略不就是整合所有输入和数据、理解世界然后制定获胜计划吗？AI 应该在这方面极其出色。

Karina 表示赞同。她举例说，Canvas 现在就可以聚合所有用户反馈，总结最令人痛苦的五大用户体验流程，然后模型本身有能力知道自己是怎样被制造出来的，从而自行创建训练数据集。她认为模型自我改进（Self-improvement）并不遥远。

模型最擅长的能力之一是"连接点"（Connecting the Dots）——把来自一个渠道的用户反馈、内部指标仪表盘的数据、其他输入源的信息整合起来，生成计划和建议。这也是 ChatGPT 最常见的使用场景之一。在科学研究领域，模型理应能够基于先前实验的经验结果建议新想法或迭代实验方案。

Lenny 总结道：人类一次能理解和综合的信息量有限，而模型的上下文窗口已经巨大——把所有信息交给它，让它告诉你最重要的事情该做什么。

Anthropic 与 OpenAI：两种文化

Karina 是极少数在两家顶级 AI 实验室都工作过的人。她的观察是：两者相似之处远多于差异。

在 Anthropic，她学到的是对模型行为（Model Behavior）和模型训练的真正用心与匠心。Claude 之所以有更鲜明的个性——她形象地将 Claude 比作一位"图书管理员"，书卷气十足——是因为它反映了创造者自身的特质。大量细节围绕角色设定、人格塑造、模型是否应在某些场景中追问、什么是正确的伦理行为等，都体现了精心策划的数据集和深入的打磨。Anthropic 的规模更小，Karina 加入时只有约 70 人，早期有着创业公司般的家庭氛围。Anthropic 在聚焦和优先级排序上更为极致——硬核的优先级管理是必需的。

OpenAI 则更具创新精神和冒险意识。在 OpenAI，你的全职工作可以是教模型成为创意写作者——这种研究自由度得益于规模带来的余裕。Karina 在 OpenAI 拥有更大的创意产品自由度，可以几乎随心所欲地将 ChatGPT 演进为她愿景中的形态。组织方式上更偏自下而上（Bottoms-up），创意从一线人员中涌现。

Lenny 总结道：OpenAI 更像是自下而上、分布式创新，想法从一线冒出来并迅速试错；Anthropic 则更强调每项投资的深思熟虑和匠心打磨。

早期 Anthropic 回忆：那些被锁住两年的想法

Karina 回忆了 Pre-ChatGPT 时代在 Anthropic 的珍贵时光——那时有充裕的时间每天带着一堆想法做原型。Claude 在 Slack 中的集成就是最早的工具使用（Tool-use）产品之一：你可以把 Claude 加到 Slack 频道，让它总结对话线程，或者每周一自动总结整个频道、每周五汇总多个频道的组织动态。这种形式既实用又有社交属性，人们在 Discord 和 Slack 中与 Claude 长时间对话，学会了如何提示和与模型协作——实际上早期的 Tasks 原型就是"每周一 Claude 自动总结频道"。

100K 上下文窗口的发布是一个里程碑时刻——模型可以输入整本书并给出摘要，或者跨多个财务报告回答具体问题。这让她意识到，产品形态本身所带来的能力释放，有时甚至比模型能力的提升更令人惊叹。

她还提到了一个未实现的原型——Claude Workspace，用户和 Claude 在共享工作空间中协作编辑文档——这与后来 Canvas 的理念如出一辙。"有时候想法就这样被锁住了两年，"她感慨道。

对话式界面：从个人电脑到个人模型

Lenny 提到 OpenAI CPO Kevin Weill 的观点：聊天（Chat）是一种极其灵活的交互范式——无论你面对的是阿尔伯特·爱因斯坦还是不那么聪明的对象，对话始终适用。随着智能水平不断提升，聊天界面依然有效。

Karina 深表认同，并补充说聊天还具有社交属性——这很人性化。人们喜欢群聊，与 AI 的对话本身就像一个群聊。她认为 Tasks 是一个可以随模型能力增长而优雅扩展的功能——模型将能做更好的搜索、更创意的写作、渲染 React 应用和 HTML，每天给你出新的谜题、从前一天的故事继续——随着模型能力进化，Tasks 的体验自然升级。

核心范式正在从同步的实时回答转向异步的代理（Agent）模式。但代理需要建立信任——信任需要时间积累，就像人与人之间一样。这正是协作模型（Collaboration Model）如此重要的原因：你与模型建立信任，模型学习你的偏好，逐渐个性化，开始预测你在电脑上的下一步操作——我们从个人电脑（Personal Computer）走向了个人模型（Personal Model）。

Operator 与计算机代理：像素级操控的挑战

Karina 谈到了 Operator——一个能在自有虚拟环境中完成任务的代理。你可以让它"在亚马逊上帮我买本书"，模型会先推荐五本书，你确认后它便在自己的虚拟浏览器中完成任务。如果提供了支付凭证，它甚至可以自动结账——当然，这伴随着大量的信任与安全考量。

然而，让模型操控计算机极其困难，原因有两层：

第一，像素级感知。 模型操作的是像素而非语言，视觉感知（Visual Perception）远比语言处理困难得多。多模态研究仍在推进，但语言扩展比多模态容易得多。

第二，意图理解。 模型是否掌握了足够的信息来追问还是直接完成任务？你不希望代理花十分钟跑去做一件你根本不想要的事——那用户体验更差。这需要教会模型"人际技能"：构建用户的心理模型，关心用户需求，在适当的时候提出追问。这正是模型目前最薄弱的环节，也与前文所述的软技能短板一脉相承。

Karina 还描绘了一个愿景：她希望能与模型结对编程（Pair Programming），就像使用 Tuple 那样的工具——实时共享屏幕，模型可以操作代码、指向特定区域、与她对话、甚至教导她，不同模式切换自如。"这就是一个现成的创业方向，"她说，"应该有人去做。"

未来愿景：写作、艺术与招聘

当被问及如果 AI 取代了自己的工作并获得每月津贴会做什么时，Karina 思考了很久。她想做一名作家——写短篇故事、科幻小说。她也热爱艺术史，想象自己成为博物馆里的艺术品修复师（Conservationist），整天精心维护那些传世画作。

关于招聘，Karina 的团队名为 Frontier Product Research（前沿产品研究），正在招募研究工程师、研究科学家和机器学习工程师，尤其是有产品工程背景、想学习模型训练的人才。联系方式是 Twitter 上的 @KarinaNguyen。