专家网络如何训练每一个前沿 AI 模型——Garrett Lord 访谈

摘要

Garrett Lord 是 Handshake 的联合创始人兼 CEO。Handshake 成立十余年，是美国最大的大学生就业平台——覆盖 1,500 余所高校、2,000 万学生与校友、超过 100 万家雇主，所有财富 500 强企业均在其中。2025 年初，Garrett 团队意识到平台上庞大的专业人才网络——包括 50 万名博士和 300 万名硕士——对前沿 AI 实验室 (Frontier Labs) 具有极高的战略价值：这些实验室需要领域专家为模型生成和标注高质量训练数据。于是他们在公司内部从零启动了一项新业务 Handshake AI，仅四个月即突破 5,000 万美元年化收入 (ARR)，目前正加速迈向首年破亿，预计将在两年内超越原有十年业务体的收入规模。

本期对话从"数据标注到底是什么"这一基本问题出发，系统梳理了预训练 (Pre-training) 与后训练 (Post-training) 的区别、监督微调 (SFT)、基于人类反馈的强化学习 (RLHF)、轨迹数据 (Trajectory Data) 等核心概念，解释了为何模型越强越需要领域专家而非通才来标注数据，以及 Handshake 如何凭借零获客成本和品牌信任构建竞争壁垒。Garrett 还详述了在成熟公司内部孵化第二曲线的实战经验——独立团队、创始人亲征、量化驱动——并分享了他对 AI 与就业、数据是否会枯竭、年轻一代优势等关键问题的判断。整场对话信息密度极高，对理解 AI 数据供应链和创业方法论均有重要参考价值。

正文

模型训练的两大阶段：预训练与后训练

Garrett 首先为听众梳理了模型训练的基本架构。训练一个大型语言模型主要分为两个阶段：预训练 (Pre-training) 和后训练 (Post-training)。

预训练阶段的本质是尽可能多地摄取人类已有的书面知识——不仅仅是文字，还包括 YouTube 视频、书籍等，即"整个互联网上的一切信息"。很长一段时间里，AI 实验室持续在预训练侧投入，模型性能随之稳步提升。然而大约 18 到 24 个月前，预训练带来的增益开始明显趋缓 (asymptoting)，根本原因在于实验室已基本耗尽了互联网上所有可用的知识语料。

于是，行业重心迅速转向后训练。后训练的核心任务是：在模型已有的能力基础上，针对特定学科或能力领域——编码、数学、法律、金融等——收集高质量数据来增强模型表现。每个前沿实验室内部都有多个研究团队，各自负责不同的用例，遵循近乎科学实验的流程：提出改进假设，收集小规模数据验证，若假设成立则扩大数据采集规模。后训练的数据形态多样：可以是强化学习环境 (Reinforcement Learning Environment)、轨迹数据 (Trajectory Data)、多模态音频，也可以是文本形式的提示-响应对 (Prompt-Response Pair)，以及基于人类反馈的强化学习 (RLHF) 中的偏好排序数据 (Preference Ranking)。

Lenny 进一步追问：后训练是否可以简单归为 RLHF 和微调 (Fine-tuning) 两大类？Garrett 指出这种二分法并不准确，举例说明轨迹数据 (Trajectory Data) 就是一个独立的重要类别——当模型需要完成航班搜索、端到端会计流程或生物学实验时，需要真实的步骤执行数据。但他也承认，RLHF 主要对应偏好排序（"你更喜欢回答 A 还是 B？"），而监督微调 (Supervised Fine-Tuning, SFT) 则是提示加响应的形式。Garrett 的团队在这两类以及轨迹数据上均有深入布局。

从通才到专家：数据标注市场的根本性转变

Garrett 对数据标注市场的演进做出了一个关键判断：模型已经足够强大，通才 (Generalist) 不再被需要，真正需要的是专家 (Expert)。

在模型能力较弱的早期阶段，数据标注工作主要依赖低成本的国际劳动力完成基础通才任务——例如在图片上画边界框标注停车标志。但随着模型能力的飞跃，前沿实验室关注的是最具经济价值的能力领域：高等 STEM 学科（数学、物理、化学、生物），及其衍生领域——会计、法律、医学、金融。要让模型在这些领域变得更强，就必须让真正的领域专家参与数据创建。

这正是 Handshake 的核心价值主张：平台拥有 1,800 万专业人才，包括 50 万名博士、300 万名硕士，覆盖全球。一个博士的定义是什么？是完成了论文答辩 (Defended Thesis)，即在某个领域证明了自身对人类知识边界的拓展。Handshake 能够精准定向到化学、数学、物理、生物、编码等细分领域的顶级人才，触及那些"从未被写入互联网"的人类知识角落。

专家如何"击破"模型

Lenny 问及专家的具体工作方式。Garrett 以公开发表的 GPQA 论文为例加以说明。该论文的核心方法可概括为三步：

1. 击破模型 (Break the Model)：在特定子领域中找到模型给出错误回答的问题；
2. 提供基准真值 (Ground Truth)：给出正确答案；
3. 提供逐步推理 (Step-by-Step Reasoning)：展示从问题到正确答案的完整推理路径。

由于模型具有非确定性 (Non-deterministic)，它可能偶然答对一次，但无法在五次尝试中稳定答对三次。更重要的是，即使最终答案正确，中间的推理步骤也可能存在错误——例如一道数学题共十步，第六步到第十步的逻辑可能完全错误。专家的任务正是精确定位推理链中的断裂点，并提供修正方案。

Garrett 还举了一个非可验证领域 (Non-verifiable Domain) 的生动例子：一位名叫 Rachel 的博士，她在迈阿密大学获得教育学博士学位，有二十年的八年级教学经验，同时在当地社区学院担任兼职教授。她的工作是交互式地评估最先进模型在教育设计 (Educational Design) 方面的输出——识别模型教学方式中的错误，帮助模型理解教育设计的前沿实践。这种工作依赖的是深厚的实践经验和学术训练，不存在简单的"标准答案"。

轨迹数据：记录人类如何思考与行动

Garrett 特别强调了轨迹数据 (Trajectory Data) 的重要性。轨迹数据不仅仅是文本交互，而是完整地记录专家解决问题的全过程：屏幕操作、鼠标轨迹、语音旁白——专家一边操作一边讲述自己的思路，当遇到障碍时如何调整策略。前沿实验室迫切需要这类数据来理解人类在真实工作场景中的思维模式。

Lenny 追问这些工作的输出格式，Garrett 确认主要是结构化的 JSON 数据。此外还有多模态工作，例如音乐分类——Handshake 正在招募全美顶尖音乐学院的数百名学生来改善模型对音乐的理解。另一类重要工作是评分量表 (Rubric)——在没有唯一正确答案的领域，可以将模型作为评判者 (Judge) 置入评分体系，自动评估回答质量，就像教授用评分标准批改论文一样。

数据质量的三重挑战：质量、规模与速度

Garrett 总结了模型构建者最关心的三个维度：

质量 (Quality) 居于首位。如果给模型"喂"了错误数据，就像教学生错误的知识，后续极难纠正。规模 (Volume) 是第二大挑战：如何在化学、数学、物理等最前沿领域生成数千条高质量数据？Handshake 的答案是直接触达斯坦福、伯克利、MIT 等顶尖院校的最高 GPA 学生。速度 (Speed) 同样关键：实验室同时运行多个实验假设，一旦某个假设显示增益，就需要迅速扩大该方向的数据采集，同时可能放弃两三个未显示改善的项目。能在数天内交付高质量、大规模数据的能力，是客户最看重的。

为验证数据质量，Handshake 组建了自己的后训练团队，租用 GPU 进行内部验证，并直接与实验室研究人员协作，分享数据洞察和训练建议。Garrett 特别提到，他从 Meta 挖来了一位后训练领域的专家——尽管 AI 人才争夺战代价高昂，但他深感庆幸。

Handshake 的竞争护城河：受众即护城河

当被问及 Scale AI（近期以约 300 亿美元估值被收购，创始人 Alexandr Wang 转投 Meta 领导超级智能团队）是否仍是主要竞争者时，Garrett 给出了耐人寻味的回答：他尊重 Scale 的成就，但指出一个结构性矛盾——如果一家实验室视其研究与模型构建为核心命脉，很可能不愿让竞品投资方掌控其最新研究数据方向。

Garrett 提出了 Handshake 的核心论点：人类数据领域唯一的护城河是对受众的触达能力 (The only moat in human data is access to an audience)。

市场中大量中小玩家依赖 TikTok 广告、Instagram 广告、Google 搜索展示广告和 YouTube 广告来获取专家用户。当某家实验室提出"我需要 200 名物理学博士"时，这些平台只能启动 100 名招聘人员同时在 LinkedIn 上发消息，再投入数百万美元的效果广告。然而，精准定向物理学博士极其困难，而收到广告的博士看到的是一个从未听过的品牌——转化率可想而知。

相比之下，Handshake 用十年时间与 1,800 万人建立了信任关系。用户有活跃的个人档案、完善的学术记录，平台掌握其学业表现与专业背景，可以精准定向并快速规模化高质量数据产出。这种结构性优势在市场上产生了强烈共鸣。

从商业指标看，Handshake 拥有零获客成本 (Zero CAC)——因为与 1,600 所大学建立了合作关系，覆盖全美 92% 的前 500 强高校，几乎所有社区学院都在使用平台。用户转化率极高，品牌信任深入，因此用户终身价值 (LTV) 也很突出——好的体验带来高留存率和高复购率。相比之下，竞争对手 200 名招聘人员的人海战术和每月数千万美元的效果广告投入，在单位经济模型上完全无法匹敌。

新业务的诞生：从中间商到直连实验室

Garrett 回顾了新业务的起源。一切始于平台上的"中间商公司" (Middleman Companies) 开始频繁联系 Handshake，请求招募其博士和硕士用户。作为一个优秀的市场平台 (Marketplace)，Handshake 最初将这些需求导流给不同的数据标注平台。但很快，来自用户的反馈显示体验非常糟糕——培训极其事务化，报酬机制不透明，项目完成率大幅下降。

与此同时，前沿实验室也开始直接联系 Handshake，试图绕过中间商获取更高质量的数据。Handshake 团队逐渐意识到：如果他们能构建一个"专家优先" (Expert-First) 的平台，直接连接专家与实验室，就能同时为三方提供更好体验——专家获得尊重和高回报，实验室获得更高质量数据，平台上的百万家企业也能从中受益。

Garrett 在圣诞节和新年期间开始行动，亲自飞往各地拜访行业领袖（他的家人对此颇感意外）。他从 AlphaSights、GLG 等专业咨询公司聘请了三家专家公司做深度调研——Handshake 核心业务 2 亿美元 ARR 的体量让他有充足资源加速学习曲线。随后，他们从人类数据领域招募了经验丰富的团队，于一月正式开始搭建平台，大约五个月前开始商业化。

如今，Handshake AI 已与七家前沿实验室中的绝大多数合作，团队从最初的四五人扩展到 75 人以上（仅一个周一就有 12 人入职），收入呈爆炸式增长。从零到 5,000 万美元 ARR 仅用四个月，Garrett 自信地表示"我们会远远超过"首年一亿的目标。

在成熟公司内部孵化第二曲线

Lenny 特别关注 Handshake 如何在一家十年老公司内部成功孵化出全新业务，这对许多面临 AI 颠覆的企业极具参考价值。Garrett 分享了关键经验：

创始人亲征。Garrett 将 80% 以上的时间和精力投入新业务，而非委托他人。他称自己处于"创始人模式" (Founder Mode)，亲自参与每个关键决策。

完全独立的团队与组织。工程团队、设计团队、运营团队、财务团队——早期全部独立。每个人只有一项职责：让 Handshake AI 成功。团队坐在办公室的独立区域，拥有独立的全员会议 (All Hands)、独立的入职培训和独立的招聘团队。高管团队则运营核心业务，确保两条线互不干扰。

从核心业务抽调精锐。Garrett 主动从原有业务中挖走最优秀的人才——"我知道你热爱原来的团队，但愿意加入 Handshake AI 吗？"一些顶级的高级工程师和首席工程师被"空降"到新业务，在快速扩张期发挥了关键作用。

以创业标准招募。大量招聘有过创业经历的人，以及只曾在早期公司工作过的员工——他们天然适应模糊与混乱。同时，招聘时即明确告知：这是一份 24/7 的工作，节奏极快，频繁凌晨两三点的加班是常态。有人会拒绝，但透明度避免了后续的预期落差。

量化的运营节奏。与 Handshake 核心业务长期抗拒严格运营节奏不同，Handshake AI 从一开始就建立了以数据、指标和严谨为核心的周度、月度、季度运营机制。团队中专门有人负责推动这一体系。

独立的所有权设计。薪酬结构也做了区分——新业务基于里程碑 (Hurdles) 设定，让团队成员真正感受到自己是在创造一家新公司，拥有主人翁意识。

"不留任何遗憾"的文化。团队在白板上写下一年中的天数，信奉"再也不会有这样的时刻了"——无限需求、明确优势，关键在于执行力。"不留任何遗憾" (Leave Nothing to Chance) 成为团队信条：登飞机去见客户、深夜推送代码、把数据检查六遍、多交付一个有助于客户的功能。同时建立强烈的庆祝文化，在扁平组织中公开认可每一个贡献者。

AI 与就业：年轻一代的优势

Lenny 提出了一个广泛关注的张力：学生训练模型使其越来越聪明，但模型越聪明，初级岗位是否越少？

Garrett 坦言自己更倾向于"GDP 增长论"而非"全民基本收入论" (UBI)。他强调，Handshake 服务 100 万家雇主和全部财富 500 强企业，来自雇主的反馈并非"年轻人将没有工作"，而是完全不同的图景：

以社交媒体营销为例——过去需要懂 Photoshop 的人做图、拍视频、了解各平台的分析工具；现在，一个 AI 原生 (AI Native) 的年轻人就像穿上了"钢铁侠战甲" (Iron Man Suit)，可以独立完成视频制作、创意素材、多平台发布和数据分析，无需数据科学学位。Handshake 自身的一位实习生，入职当天下午就提交了第一个 PR (Pull Request)——放在过去，搭建开发环境本身就需要数天。

Garrett 将此类比为一个历史性的先例：曾经，人们会把"精通 Google 搜索"写进简历，因为这一代人伴随 Google 长大。如今，AI 原生的年轻人在使用和驾驭 AI 工具方面拥有巨大优势。

对于参与训练模型的专家本身，回报同样可观——博士们可以在自己的专业领域获得每小时 100 至 200 美元的报酬，远超做助教的 25 美元时薪。更重要的是，他们把从模型交互中获得的洞察带回课堂和研究，反过来加速了自身的学术进展——"被付费学习一项技能"，Garrett 称这相当酷。

数据是否会枯竭？

Lenny 问及一个根本性问题：我们会用完数据吗？模型进步会停滞吗？

Garrett 的判断是：所需的数据类型将持续演变。未来的需求将扩展到 CAD 文件、科学工具操作数据（用于自动化科学发现和药物研发）、甚至科研设备上的小众操作系统。多模态领域——视频、文本、音频——的需求同样巨大，尤其是音频数据（Garrett 特别提到 ChatGPT 的语音模式在他照顾新生儿时帮了大忙）。

关于合成数据 (Synthetic Data)，Garrett 承认它在可验证领域有其作用，但"合成数据不会主导"是行业内的普遍共识。未来十年，跟随 AI 前沿发展仍有数百亿甚至数千亿美元的价值可被提取。

Handshake 的长期愿景：重新定义劳动力匹配

对话最后，Garrett 将视野拉回 Handshake 的根本使命。他本人就读于密歇根上半岛的一所社区学院，靠打工完成学业，后来在 Palantir 实习改变了人生轨迹。创建 Handshake 的初衷就是让任何人——无论人脉、家庭背景或母校——都能找到好机会。

他相信 AI 将带来匹配 (Matching) 的阶跃式提升。AI 面试官可以采集技能、询问经验、设计工作模拟场景，帮助雇主找到最佳候选人。传统的"审阅 200 份简历"和"手写求职信"都将成为历史。而 Handshake AI 的人类数据业务正在为这种匹配能力的提升奠定基础——很多在人类数据业务中开发的技术正在被整合到核心业务中，将为雇主节省数十亿美元，并显著改善学生体验。

闪电问答

推荐的书籍：Peter Thiel 的《从零到一》(Zero to One)——Garrett 创业初期读过，并观看了 Thiel 在斯坦福的创业课程；Phil Knight 的《鞋狗》(Shoe Dog)——他认为是创业精神的典范；Ben Horowitz 的《创业维艰》(The Hard Thing About Hard Things)——虽然都是经典，但每一本都值得反复品读。

近期喜欢的影视：刚开始和妻子一起看《权力的游戏》(Game of Thrones)，虽然已落后大众多年，但非常享受。

近期发现的好产品：SNOO 自动婴儿床——在新生儿护理中帮了大忙。

人生信条：不留任何遗憾 (Leave Nothing to Chance)。Garrett 出身于一个极其勤奋的家庭，父亲拼命工作为家庭创造条件，这种精神深植于他的骨髓——全力以赴，绝不留憾。

普林斯顿泳池的故事：创业初期，Garrett 和团队开着一辆福特福克斯，在车上睡了数万英里，选择麦当劳停车场过夜（灯光好、Wi-Fi 佳）。为了在见客户前梳洗，他们发现每所大学的泳池几乎总是在早晨开放——而每个泳池都有淋浴。当 Garrett 在普林斯顿的泳池洗澡时，被校园保安发现并质问。但保安打电话给职业服务中心主任核实身份时，反而促成了更精彩的会面开场——"你在我们泳池洗澡？你从密歇根开过来的？"——这份极致的执着打动了客户，也成为 Handshake 早期传奇的一部分。