AI 工程入门：与 Chip Huyen 的深度对话

摘要

Chip Huyen 是 NVIDIA NeMo 平台的核心开发者、Netflix 前AI研究员、斯坦福大学机器学习课程讲师、两次创业者和两本畅销AI书籍的作者，其中《AI Engineering》自出版以来一直是 O'Reilly 平台阅读量最高的书。她与大量企业合作制定 AI 战略，因此对一线实际状况有着独到观察。

本次对话从一张在 LinkedIn 上疯传的表格开始——"人们以为能改进 AI 应用的方式"与"真正能改进 AI 应用的方式"的对比。前者包括追踪最新 AI 新闻、采用最新框架、纠结向量数据库选择、不断评估哪个模型更聪明、微调模型；后者则是与用户对话、构建更可靠的平台、准备更好的数据、优化端到端工作流、撰写更好的提示词。这张表之所以引发共鸣，是因为它揭示了 AI 产品开发中最普遍的认知偏差：过度关注工具和模型的"先进性"，却忽视了工程基本功和用户需求。

Chip 随后系统讲解了预训练（Pre-training）与后训练（Post-training）的区别、监督微调（SFT）与蒸馏的关系、强化学习（RL）及 RLHF 的运作原理、评估（Evals）的设计哲学与投资回报考量、RAG 的核心机制与数据准备的重要性。她还分享了企业在 AI 工具采纳中遇到的生产力衡量难题、不同层级工程师对 AI 工具的差异化反应、AI 工程师与 ML 工程师的本质区别，以及对未来组织架构变革、后训练阶段创新、多模态体验和测试时计算（Test Time Compute）等趋势的预判。

正文

疯传的表格：AI 产品开发的认知偏差

Chip 在 LinkedIn 上分享的一张表格引发了广泛共鸣。表格一侧是"人们以为能改进 AI 应用的方式"：追踪最新 AI 新闻、采用最新 Agentic 框架、纠结向量数据库的选择、不断评估哪个模型更聪明、微调模型。另一侧是"真正能改进 AI 应用的方式"：与用户对话、构建更可靠的平台、准备更好的数据、优化端到端工作流、撰写更好的提示词。

这张表之所以触动人心，是因为它精准戳中了行业痛点。Chip 经常被问到"如何跟上最新 AI 新闻"，她的反问是：为什么要跟上？如果最优解与非最优解带来的提升微乎其微，为什么要花大量时间争论一个对性能影响不大的选择？另一个关键问题是：如果采用一项新技术，将来切换到其他方案有多困难？如果一项新技术尚未被广泛验证，一旦采用就可能被锁定，你是否应该三思而后行？

核心洞察很简洁：构建成功的 AI 应用，关键不在于追求最新最强的模型或框架，而在于回归工程本质——理解用户、优化数据、打磨提示词、改进端到端体验。

预训练与后训练：模型能力的两个阶段

预训练（Pre-training）的本质是将语言的统计信息编码进模型。正如 Chip 所说，如果她说"我最喜欢的颜色是"，你会预测下一个词大概率是一种颜色——"蓝色"的可能性远高于其他无关词汇。语言建模就是通过海量数据学习这种统计分布，使模型能够预测下一个最可能的 Token。

Token 是介于字符和单词之间的单位。以"podcasting"为例，它可以被拆分为"podcast"和"ing"——我们理解"podcast"的含义，也理解"ing"表示动名词后缀，因此即使从未见过"podcasting"这个词，也能理解其含义。Token 机制在词汇量与表达能力之间找到了甜点：字母表只有26个字符，而单词可以有数百万个，Token 则在两者之间取得了平衡。

这个思想的根源可以追溯到1951年 Claude Shannon 关于英语熵的论文。Chip 还引用了一个福尔摩斯的故事：有人留下了一段由火柴人组成的密码，福尔摩斯利用英语中字母 E 出现频率最高这一统计事实，推断出最常见的火柴人代表 E，由此逐步破解了整段密码。这本质上就是字符级别的语言建模。

采样策略（Sampling Strategy）是 Chip 认为极为重要却严重被低估的维度。模型输出的是一个概率分布——下一个 Token 90% 可能是某种颜色，10% 可能是其他。采样策略决定是始终选择最可能的 Token，还是允许更有创造性的选择。这一策略能极大影响性能表现。

后训练（Post-training）则是模型能力差异化的关键战场。Chip 提到，她朋友试用预训练模型时发现输出"非常糟糕"——预训练模型本身远非可用状态。如今各前沿实验室（Frontier Lab）的竞争焦点已从预训练转向后训练，因为预训练数据在文本层面已基本被用尽，各大实验室使用的预训练数据高度同质化，真正的差异化来自后训练。

监督微调与蒸馏

监督微调（Supervised Fine-Tuning, SFT）是指用示范数据训练模型：由专家提供"给定这个提示词，正确答案应该是这样的"样例，让模型学习模仿人类专家的行为。开源社区中广泛使用的方式是蒸馏（Distillation）——不再依赖人类专家手写高质量答案，而是让已有的大型优质模型生成回答，再训练小型模型去模仿这些输出。

Chip 特别指出了一个关键区别：能够训练出模仿现有好模型的模型，与从零开始训练出真正的好模型，之间存在巨大鸿沟。这是一个不容忽视的差距。

强化学习与 RLHF

强化学习（Reinforcement Learning, RL）在后训练阶段无处不在。其核心思路是：给模型一个提示词，让它生成输出，然后通过信号强化鼓励模型产生更好的输出。关键问题是如何判断输出的好坏。

人类反馈（Human Feedback）是获取信号的主要方式之一。Chip 解释了为什么比较优于评分：如果让她给一首歌打分，她可能会给出6分，一个月后再问可能变成7分或4分——绝对评分缺乏一致性。但如果让她在两首歌之间做选择——"哪首更适合在生日派对上播放"——她能轻松做出判断。人类更擅长比较，而非绝对评分。

RLHF（Reinforcement Learning from Human Feedback）的流程因此是：收集人类对两两回答的偏好数据，训练一个奖励模型（Reward Model）来评判输出的好坏，然后用这个奖励模型引导原始模型朝更优方向优化。

除了人类反馈，还有两种重要的信号来源。一是 AI 反馈——用 AI 来评判输出质量。二是可验证奖励（Verifiable Rewards），这在当前尤其受重视：给模型一道数学题，期望答案是42，如果模型输出不是42，就是错误。这种信号清晰、客观、可规模化。

Chip 还揭示了数据标注行业一个有趣的经济学结构：前沿实验室只有少数几家，但数据需求巨大；而数据标注初创公司数量众多，客户却极度集中。即使某些标注公司增长惊人，严重依赖两三个客户的风险不容忽视。从实验室角度，它们自然希望有更多供应商互相竞争以压低价格。这种供需格局的演变值得关注。

评估（Evals）：何时投资，如何设计

评估是 AI 产品开发中的关键环节，但 Chip 给出了非常务实的建议：不必事事都做完美评估，关键在于投入产出比。

她区分了两种评估场景。一是应用构建者的评估——例如判断一个聊天机器人是否好用。二是模型开发者的任务特定评估设计——例如如何衡量"代码写作能力"，需要设计数据集、制定评判标准、培训标注人员。

关于"是否需要评估"的争论，Chip 的观点是：如果你处于运营规模大、失败后果严重的场景，就必须对评估极其严格，理解各种故障模式。但如果某个功能只是辅助性的，并非核心竞争优势，那么"够用就好"也是一个合理策略。一个高管面对的权衡往往是：两名工程师投入评估工作，可能只把指标从80%提升到82%-85%；而同样的资源投入新功能，可能带来更大的业务价值。这不是评估不重要，而是优先级排序的问题。

评估的目标是指导产品开发，而非追求数量。Chip 见过拥有数百个指标的产品——以深度研究（Deep Research）为例，评估一个研究报告的质量需要覆盖多个维度：搜索查询的多样性、搜索结果的相关性和覆盖面、信息的聚合质量、最终总结的准确性和完整性。每一步都需要独立的评估维度。关键不是"我应该有多少个评估"，而是"我需要多少评估才能对我的应用性能有足够信心，并准确定位薄弱环节"。

RAG：检索增强生成的核心与数据准备

RAG（Retrieval-Augmented Generation，检索增强生成）的核心思想非常直觉：很多问题需要上下文才能回答。这个想法源于2017年的一篇论文——研究者发现在问答基准测试中，如果给模型提供与问题相关的信息（最初是从 Wikipedia 检索），模型的表现可以大幅提升。

RAG 的基本原理就是为模型提供相关上下文，使其能更好地回答问题。但实际应用中，数据准备比技术选型重要得多。

Chip 用一个具体例子说明了数据准备的挑战：假设有一份关于 Lenny's Podcast 的文档，文档开头声明"从现在起，本文档中'podcast'一词均指 Lenny's Podcast"。当用户查询"Lenny 的工作"时，由于文档后续部分只出现"podcast"而不出现"Lenny"，简单的关键词检索会漏掉相关内容。如果文档很长被分成了多个片段，后面的片段根本不包含"Lenny"这个词，就无法被检索到。

数据准备的核心工作包括：合理设计分块（Chunking）大小——块太长则检索粒度太粗，块太短则信息量不足；添加上下文信息如摘要、元数据、假设性问题（为每个文档片段生成它可能回答的问题，用户提问时匹配假设问题即可检索）；甚至将文档重写为问答格式。Chip 提到，有人仅通过将播客内容改写为问答对就获得了显著性能提升。

另一个重要维度是为 AI 阅读优化文档。人类阅读文档时拥有常识和上下文，AI 则不然。例如，一个函数的文档写着"输出范围为0到1或-1"，人类专家理解这个尺度的含义，但 AI 可能完全无法理解。为此，需要增加一层面向 AI 的标注，解释具体数值的实际含义。Chip 明确指出：在她合作过的公司中，RAG 解决方案最大的性能提升来自更好的数据准备，而非纠结使用哪个向量数据库。

企业 AI 工具采纳：内部生产力与外部产品

企业中的生成式 AI 应用可分为两大类：内部生产力工具（编码助手、Slack 聊天机器人、内部知识库）和面向客户或合作伙伴的工具（客服聊天机器人、预订机器人）。

面向客户的工具更容易被采纳，因为其成果可以直接衡量——预订聊天机器人的转化率与人工客服的对比一目了然。内部工具则面临一个根本性难题：生产力难以衡量。企业为员工购买了昂贵的 AI 工具订阅，但使用率往往低于预期，原因正是缺乏有效的生产力衡量标准。

编码工具与生产力：管理者的两难

Chip 做了一个有趣的调研：问管理者"你宁愿给团队每人配备昂贵的编码 Agent 订阅，还是增加一个人头？"几乎所有的基层管理者选择了人头。但 VP 级别的高管则倾向于选择 AI 工具。原因在于：基层管理者仍在成长阶段，增加一个人头意味着更大的团队和更多资源，这不完全出于生产力考量；而高管更关注业务指标，更看重什么真正驱动生产力。

关于 AI 编码工具对不同水平工程师的影响，Chip 收集到了截然不同的反馈。一家公司做了随机对照实验：将30-40人的工程团队按绩效分为高、中、低三档，每档随机分配一半人使用 Cursor。结果是：高绩效工程师获益最大，其次是中等绩效者，低绩效者获益最小。这家公司的解释是：高绩效工程师已经知道如何解决问题，AI 工具帮助他们更快执行；而低绩效者要么不够投入，要么不知道如何正确使用工具。

然而另一家公司却报告了相反的现象：资深工程师对 AI 工具的抵抗最为强烈，因为他们对代码质量有很高的标准，认为 AI 生成的代码不够好，因此拒绝使用。

这些看似矛盾的发现反映了一个尚未定论的问题：AI 工具到底对谁帮助最大？答案可能因团队文化和工作性质而异。

AI 时代工程师的重组与系统思维

无论具体差异如何，一个趋势已经清晰：多家公司正在重组工程团队。新模式是：资深工程师负责制定流程、编写最佳实践指南、审核代码；AI 或初级工程师负责生产代码。这种结构的前提是拥有少数极强的工程师掌控全局，但随之而来的问题是——如果初级工程师得不到足够的实战锻炼，未来如何成长为资深工程师？

Chip 引用了斯坦福大学计算机科学系前主任 Mehran Sahami 的观点：很多人以为计算机科学就是写代码，但代码只是手段。计算机科学的本质是系统思维（System Thinking）——用代码解决实际问题。问题解决永远不会消失，随着 AI 自动化更多任务，问题只会变得更大。理解问题根因、设计分步解决方案的能力，将始终是核心竞争力。

Chip 分享了自己的亲身经历：她用 AI 部署应用时遇到了一个持续出现的 bug，AI 不断尝试修改环境变量、调整代码、更换函数、切换语言，都无法解决。最终她亲自阅读文档发现，问题出在她使用的服务层级不支持该功能——这完全是另一个组件的问题。AI 缺乏的是对系统整体的理解：各组件如何协同工作，问题可能源于哪个层面。这正是系统思维的价值。

Bret Taylor（Sierra 联合创始人、Google Maps 创造者、Salesforce 前CEO）在播客中也表达了相同的观点：学计算机科学不是学 Java 和 Python，而是学系统如何运作。

ML 工程师与 AI 工程师的区别

Chip 在《AI Engineering》一书中给出了一个简洁的区分：ML 工程师构建模型本身，AI 工程师使用已有模型构建产品。生成式 AI 即服务（GenAI as a Service）的出现大幅降低了进入门槛——不再需要从零训练模型就能将 AI 集成到产品中。同时，AI 能力的增强也极大拓展了可能的应用场景。两个因素叠加——更低的门槛和更大的需求——造就了一个充满可能性的新空间。

未来趋势：组织变革、后训练创新与多模态

Chip 对未来两三年的预判涵盖了多个维度：

组织架构变革：评估（Evals）正在模糊传统职能边界。写好评估需要理解工程架构、用户行为和业务目标——这不再是单一团队的事。产品、工程甚至市场团队需要更紧密协作。同时，可被系统化的外包业务正被 AI 自动化替代，团队开始重新思考人员配置，尤其是资深与初级工程师的角色分工。

后训练阶段成为创新焦点：基础模型性能的提升幅度可能不会像过去三年那样令人惊艳——从 GPT 到 GPT-2、GPT-3、GPT-4 那种跨代飞跃的步伐正在放缓。但后训练阶段和应用构建层面仍有巨大的提升空间。

多模态的挑战与机遇：文本之外，音频和视频的应用场景极其广阔，但技术挑战也不小。仅从文本聊天机器人升级到语音聊天机器人，就面临完全不同的约束：语音场景需要极低延迟（语音转文本→文本到文本→文本转语音，多跳延迟叠加），还需要处理自然对话中的打断行为——人类的"嗯"只是附和，不应打断；真正的打断才需要暂停。这种判断本质上是经典的机器学习分类问题。延迟则是一个大规模工程挑战。端到端的语音到语音模型（跳过文本中间步骤）正在研发中，但技术难度极高。视频则同时包含图像和语音，挑战更大。

测试时计算（Test Time Compute）

Chip 引入了一个重要概念：测试时计算。传统上，计算资源在预训练和后训练之间分配，预训练占比极高。测试时计算的想法是将更多资源分配给推理（Inference）阶段——当模型生成回答时，允许它消耗更多计算来提升输出质量。

具体策略包括：对于一道数学题，生成四个不同答案，选择多数一致的那个（三个回答42，一个回答20，则选42）；或者让模型生成更多"思考 Token"，在给出最终答案前花更多时间推理。基础模型本身没有改变，但通过在推理时探索更多潜在答案、思考更长时间，可以显著提升最终输出的质量。这解释了为什么模型感知性能的提升可能不完全来自基础模型能力的增强——推理策略的优化同样是重要来源。

AI 战略：自上而下还是自下而上

Chip 观察到一个矛盾现象：我们正处于某种"创意危机"之中。工具前所未有的强大——从零开始设计、写代码、建网站都能完成——理论上应该涌现大量创新应用，但很多人却感到卡壳，不知道该构建什么。这可能与社会的高度专业化分工有关：人们被训练成在极窄的领域深耕，缺乏全局视野，因此难以产生跨领域的创意。

关于 AI 战略应该自上而下还是自下而上，Chip 认为两者需要结合。一些公司通过黑客马拉松或内部挑战赛鼓励员工提出想法，但她发现很多人不知道该构建什么。她的实用建议是：回顾过去一周，留意什么让你感到沮丧；当某件事让你烦恼时，思考是否有不同的做法。这些日常痛点往往是 AI 微工具的最佳切入点。Lenny 分享了自己的例子：他在 Google Docs 中粘贴了大量截图后，才发现无法将图片导出——于是用 AI 工具快速构建了一个可以输入 Google Doc URL 并自动下载所有图片的小工具。Chip 非常看好用 AI 创建这类微工具，它们虽然小，但切实改善日常体验。

闪电问答

推荐书籍：Chip 对推荐书籍非常谨慎，因为她认为适合的书籍取决于读者所处的阶段和目标。但她分享了两本对自己影响深远的书：《自私的基因》（The Selfish Gene）帮助她理解了人类行为的基因驱动逻辑——基因的唯一目标是复制自身，而我们许多行为都是这一目标的函数。书中还提出了"模因"（Meme）的概念：通过传播思想来实现某种意义上的永续，这与基因的复制逻辑平行。第二本是李光耀的《从第三世界到第一世界》（From Third World to First），记录了他如何将新加坡在25年内从第三世界国家变为第一世界国家。Chip 认为这是系统思维的绝佳教材——国家是一个大多数人终其一生都无法实验的系统，通过这本书可以从宏观层面理解政策设计如何引导行为。

最近喜欢的影视作品：Chip 正在写自己的第一部小说（一部非科幻类的剧情小说），因此大量观看影视作品是为了研究什么样的故事会流行、理解叙事套路。她提到了中国电视剧《延禧攻略》。

人生座右铭：Chip 坦言这听起来可能有些虚无主义——"最终，没有什么是真正重要的"。从宇宙尺度看，十亿年后没有人会存在，我们做过的荒唐事或失败都不会被记住。这听起来可怕，但她觉得非常解放：既然如此，何不大胆尝试？她分享了最近一位家人去世的经历，问她父亲能为逝者做什么，父亲反问"到了这个时候他还能想要什么呢？"——这让她意识到，在生命的尽头，没有任何物质能带来真正的喜悦。这反而让她更清楚自己真正在乎什么。

从创意写作中学到的：Chip 写小说的初衷是成为更好的写作者——通过面对完全不同的受众来锻炼自己预测读者反应的能力。她从编辑那里学到了"情感旅程"（Emotional Journey）的概念：故事需要钩子吸引读者继续阅读，但不能全程高能，否则读者会情感疲劳。需要设计高潮与舒缓的节奏交替。另一个深刻的教训是角色讨喜度（Character Likeability）：在初稿中，她把主角写成了一个非常理性、逻辑驱动的人，朋友读完后直言"我讨厌这个人"——不管故事多好，角色不讨喜就没人想继续读。修改版本中，她加入了角色的脆弱性和挫折，因为读者能对失败产生共鸣。技术写作只关心内容和论证，而小说需要关心读者对角色的情感连接。