打破零和思维：Palantir 隐私与公民自由工程 15 年的演进之路

摘要

Palantir 隐私与公民自由工程团队（PCL，Privacy and Civil Liberties）全球总监 Courtney Bowman 用一场近 65 分钟的深度对谈，回顾了 Palantir 自成立以来如何在强大的政府与商业任务中同时守护隐私与公民自由。核心主张是：安全与隐私并非零和博弈，通过把隐私能力内建到系统基础设施的原始构件中，而非事后加装（bolt-on），完全可以同时优化多个目标。这一信念贯穿了 Gotham、Foundry 到 AIP 的整个产品演进史。

对话以时间为轴展开：从早期为执法机构构建的帮派情报模块、车牌识别数据管理（其规范最终成为加州州法蓝本），到 GDPR 时代以数据血缘（lineage）与溯源支撑欧洲商业扩张，再到疫情期间以公共操作图景（COP）替代侵入式接触追踪应用，以及国防领域围绕 Maven 整合武装冲突法约束。每个阶段都验证了同一原则：隐私与安全不是零和，而是可以靠系统设计同时达成。

在生成式 AI 时代，PCL 团队把可观测性、测试评估框架与 AI 用例管理器（AI Use Case Manager）视为建立机构信任的关键，并提出「AI 现实主义」而非「AI 怀疑论」的立场：本体论（Ontology）系统正在成为人类与模型共享的理解底座，而下一步是用生成式 AI 与智能体（agent）来辅助 AI 治理本身。

正文

一、零和思维的破除：Palantir 的隐私工程起源

Courtney Bowman 于 2010 年底加入 Palantir，是 PCL 团队的创始成员之一。此前她在 Google 从事广告拍卖设计与理论工作，与隐私工程相去甚远。吸引她加入的，是 Palantir 当时正在做的事情本身：在国防、情报、反人口贩卖、反欺诈与全球健康等少数但意义重大的任务集上，聚集了一批极其聪明的人，试图解决非常有趣的技术难题。她形容这至今仍是 Palantir 的简单公式——聪明的人、有趣的技术问题、宏大的使命。

Palantir 的起源故事广为人知：创始团队来自 PayPal，他们把纯机器驱动方法处理复杂问题（尤其是支付系统中的反欺诈检测）的洞察，应用到 9·11 之后的情报界。当时有一个清晰的观察：情报界存在失误、需要改革，但改革方式必须回应美国公众核心关切。这种基础洞察凝结成推动公司前进的关键承诺——Palantir 要打造强大的技术、提供给强大的机构，但这项工作不能以牺牲基本权利（尤其是隐私与公民自由）的保护为代价。

这正是 PCL 团队存在的理由。传统思维存在一种零和假设：你要么保护国家安全，要么保护公民隐私，二者不可兼得。Palantir 的观察与挑战是：这是一个错误的二分法。通过明智的产品设计方法、对技术发展中技术-社会维度的深入理解，可以拆解零和假设，朝着多个优化参数同时推进。Bowman 强调，这也是许多工程师加入 Palantir 时最被吸引的部分：如何构建一套系统架构，在最大化安全与分析能力的同时保障隐私——不是低数据量、受限的分析工具，而是图处理、文档处理、地理空间分析、大海捞针式分析的综合，跨不同的计算框架运作，让不同范围权限的用户访问不同信息，并嵌入强健的安全架构。

她总结出一个多年实践得出的关键洞察：如果你把隐私保护当作附加组件或事后想法，它注定失败，因为隐私必须深度集成到核心基础设施与所有其他工作所依赖的原始构件中，否则问题会从缝隙中漏掉。

二、早期执法实践：数据保留、删除与选择性披露

Bowman 在 Palantir 早期的很大一部分工作聚焦于州与地方政府，主要是州和地方层面的执法机构及西部各州的融合中心（fusion center）。这是一个复杂敏感的环境：不同类别的信息在多元环境中汇聚，存在核心隐私关切，必须依靠安全基础设施与访问控制模型确保数据仅用于特定目的。

团队早期重点之一是管理特定类别的执法信息。例如刑事情报（criminal intelligence）在获取方式、长期管理方式上都有特定要求，更关键的是到期必须删除：某些数据子集适用五年保留规则，若五年后与犯罪嫌疑或活动不再有持续关联，数据必须清除。团队为此建模了多种框架来跟踪信息、将其与进行中的案件工作绑定，并在周期结束时明确判定是符合保留条件还是必须删除。这涉及访问控制模型、数据选择性披露（selective revelation）、保留规则，以及后端审计追踪，从而形成一个可问责的框架。

一个让 Bowman 既骄傲又略有遗憾的项目是帮派情报（gang intelligence）模块——这是特别敏感的数据子类。模块在安全、隐私与监管合规上做得极为严谨，甚至有所创新，但始终未能在广泛采用上取得突破。另一个重要项目是自动车牌识别（ALPR，Automatic License Plate Reader）数据管理。这一领域长期受到隐私倡导者与公民社会的关注，担忧在于：车辆移动属于公开信息的大规模采集，可能在没有犯罪嫌疑的情况下被用于生活模式（patterns of life）分析。团队构建的方案聚焦于限制访问与特定应用、强制固定期限的数据保留，并建立监督能力——终端用户必须认证用途，认证记录进入后端审计轨迹。

这项工作的成功之处在于：团队在 ALPR 应用中设计并公开讨论的各项条款，最终成为加州一项州法案（约 34 号法案）的基础，成为处理敏感执法数据类别的黄金标准。Bowman 谦逊地表示并不想声称直接影响了立法，但确实证明了这种负责任的实践模式可以被其他机构采纳。与立法者合作或至少为立法进程提供信息，也成为此后反复出现的主题。

这一时期也是 Palantir 本体论系统（Ontology System）的萌芽期。在国防与情报应用中，用户不再只是面对行列数据，而是对人物、事件、地点、路线、来自现场的信息与源系统信息获得语义理解。这种符合人体工学的数据访问方式，让分析、运营与技术用户能协同工作。Gotham 的早期姊妹产品 Metropolis 则是面向金融的本体论，在处理时间序列数据与金融工作流领域建模上很有想法，但两者都只是后来更通用系统的前身。前向部署工程（forward deployed engineering）文化——在实际场景中检验什么能通用、什么不能——在这一早期阶段就已全面运转。

三、GDPR 与商业扩张：把隐私内建为基础设施

时间来到 2010 年代中期，Palantir 大举进军商业领域并拓展欧洲市场，这一时期恰逢 GDPR 成形。要理解这段历史，必须回到 2013 年斯诺登事件：它震动了世界，既暴露了情报界的具体问题，也动摇了允许跨大西洋机构共享信息的协议，导致欧盟委员会与美国商务部等监管机构展开大量谈判，并极大加速了欧洲制定一部覆盖所有市场、具有域外效力（extraterritorial application）的全面消费者数据保护法规。GDPR 在 2016 年前后经历多轮起草，2018 年正式生效。

对 Palantir 而言这是关键时刻。团队多年在情报界、国防与执法等高敏感环境中积累的经验，使其对如何构建信息科技来管理这些风险有强烈直觉。美国传统的公平信息实践原则（FIPPs，Fair Information Practice Principles）——数据最小化、选择性披露、用途限制、监督与问责——早已被嵌入 Gotham 的核心基础设施。当 GDPR 到来时，Palantir 能够立即向欧洲公司及跨市场跨国企业提供核心方法与洞见，这是 2010 年代中期在欧洲市场获得巨大牵引力的原因之一。

同一时期，行业趋势是向云迁移、建设数据湖与数据平台，释放困在企业各处的数据价值——这正是 Foundry 诞生的背景，如今它支撑着 Palantir 全球几乎所有工作负载，其下是 Apollo。从 Gotham 与 Metropolis 时代继承的原则在 Foundry 设计中再次成为关键：数据元素的细粒度安全（不止行级或列级访问，而是二者的交叉）、理解数据的派生与流动（派生新信息时安全如何随之流动）、数据血缘的极端重要性——动态理解数据输入来自哪里、谁编写的、谁摄入的、哪个版本被哪些人触碰过，以及审计能力（不仅看平台中的数据，还看应用与分析工具中的使用情况）。

Bowman 特别强调血缘与溯源在 GDPR 数据主体权利（data subject rights）中的关键作用。数据访问权已经很难，而更进阶的权利——如被遗忘权、在无合法处理目的时删除个人数据的权利——在拥有庞杂数据资产、大量工作流与分支、难以追踪的端点的复杂机构中，实践中极其困难。只有具备血缘与溯源控制能力，才能定位个人数据位于何处、如何被转换与处理，并对每个组件进行选择、返回访问请求或执行删除。

这一时期的重要客户包括 BP、Airbus 等业务遍布全球、各地区政策各异的公司。这不是「把数据放进去期待某天有用」的工作流，而是高度运营化的：如何管理油井与油藏、如何提升 A350 的产能。关键张力在于：既要在设计、装配、生产、完整性检查等部门之间促成有机的跨职能协作，又要遵守所有既定的政策与指令。此外，团队还与欧洲海关与运输机构合作处理乘客舱单（passenger manifest）等高敏感记录，依靠可靠的删除能力让机构以受限、目的驱动的应用履行责任，数据期满后可靠删除以符合监管框架。

在商业侧，高度受监管行业（金融服务、保险）开始出现 AI 革命的先兆。保险公司是长期进行高级统计分析以定义风险池的机构，但 GDPR 第 22 条对纯自动化画像工作流施加了限制。团队必须思考如何继续保留人在回路（human in the loop）要素，让机构既通过合理使用数据获得效率，又符合对客户利益的监管与道德义务。这一时期还诞生了敏感数据扫描器（Sensitive Data Scanner）、校验点框架（checkpoints）与 Cipher 等能力——它们全部由 PCL 团队与架构、产品团队紧密协作构建，是公司把隐私视为核心问题、愿意投资底层构件的结果。

四、疫情考验：用更少的数据做更多的事

COVID-19 时期被 Bowman 形容为「梦幻又噩梦般」的一段时光，但对公司而言是关键时刻：它直面公共健康利益与公民数据管理关切（高敏感健康记录、移动信息）之间的冲突。在 Palantir 之外，她观察到行业在竞相推出花哨的解决方案，最典型的例子是 2020 年底到 2021 年初大规模兴起的接触追踪（contact tracing）工具与移动应用——用人们随身携带的设备追踪传染病流动。整个科技行业组建了大规模工作组，争论集中式还是去中心化、蓝牙还是网页方案，每款手机与应用都在推送各自版本。

Palantir 的直觉是踩刹车、退后一步：这是否在过度工程化一个本可以用更基础手段解决的问题？团队与公共卫生服务提供者深入交谈、理解数据格局后发现，第一阶的问题根本不是追踪病原体潜在携带者的移动，而是：公共卫生领域已有大量数据，但服务机构完全不知道如何整合这些信息。于是团队把重点转向已有信息源——美国各州机构、欧洲各成员国及其子机构、医疗服务提供者的拼凑网络——把这些信息放进一个公共操作图景（COP，Common Operating Picture）环境，让公共卫生官员基于统一视图做明智决策。

COP 建立在相当平凡的数据源上：某个辖区的报告病例数、某家医院的 PPE 库存积压、呼吸机是否足以应对重症入院——这些都是基本物流问题，几乎不涉及或完全不涉及隐私利益，却是当时公共卫生服务的关键。Bowman 提炼出核心洞察：某些情况下可以用更少的数据做更多的事，关键在于创建负责任的框架来整合数据并在此基础上构建洞察，而不是大规模采集侵入性数据（可能被泄露、或被用于执行封锁等不当用途）。这种 COP 工作后来深化为 Operation Warp Speed（疫苗生产与分发供应链）与 HHS Protect（PPE 分发价值链，协调全国医院系统与医疗中心之间的物资调配）。

从产品视角看，这一时期催生了本体论系统中更高保真的场景与模拟（scenario and simulation）表达能力：如果我把 PPE 调配到东北部、而非现有的均匀分配计划，会有什么影响？如果再叠加两三个假设呢？这种在跨职能团队共享的对象与行动之上进行模拟的能力，如果不想在隐私与公民自由上妥协，就必须内建在系统核心构件中——同样不能事后加装。Workshop 应用构建器、更复杂函数与业务逻辑的编写方式，都必须在快速变化的局势下与核心原则保持一致。远程工作限制了团队协作，但前向部署工程师仍然驻场客户——机构、医院系统、私营公司——没有停止深入问题一线。

也是在这一时期，流行病学研究、病原体移动的统计建模、新药开发等应用催生了构建强健基础设施管理建模工作流的需求。团队开始认真建设支持负责任 AI/机器学习技术的全套能力——注意这发生在 2022 年底、2023 年初大语言模型热潮之前，属于经典机器学习范畴。他们构建了完整的 MLOps 生命周期管理工具：模型目标（model objectives）定义、基于目标的版本控制与跟踪，从训练数据验证、模型原位测试到生产部署、反馈生成并回灌下一轮迭代，全程生成后端签名信息，使其对监督机构与监管者可问责。这还涉及机器学习领域最具挑战性的可复现性（reproducibility）问题：如何回头确认模型与建模技术一致、产生一致结果。

五、全面国防任务：武装冲突法与跨机构安全

在疫情前后，Palantir 的国防工作也在显著扩展：从 Gotham 时代的核心情报工作流，扩展到情报、目标开发（targeting development）、打击行动、动能与非动能作战考量、战损评估等整套互联工作流，且常涉及多利益相关方乃至多国协作。Bowman 表示 Palantir 的作风是迎难而上——对于负责处理复杂问题的 PCL 团队，必须卷起袖子深入那些对某些人而言并不舒适的话题，比如对人类生命有后果性影响的动能战争。

PCL 团队因此开始建立实践与纪律：如何围绕武装冲突法（Law of Armed Conflict，欧洲称国际人道法框架）的整合，与客户群和产品开发协作。这些历史条约与公约规定了作战人员在战场上行为的法律与人道后果，影响从操作员、指挥链到将领每个人的义务与责任。团队在决策支持系统工作中审视具体能力——Maven 工具套件本质上就是为作战人员执行复杂决策（有时带致命后果）提供支持——思考如何把国际人道法考量整合进工作流的各个组件：识别禁打击名单（no-strike list）实体并在目标决策中显著呈现给目标选定人员或作战人员，以避免对平民与民用基础设施造成不当或不必要的风险。这只是一个跳板，PCL 的隐私与公民自由工作由此扩展到更广阔的伦理工程空间，包括战争伦理。

技术侧，Maven 智能系统要求对全动态视频与影像进行真正的集成，涉及跨所有域进行传感器融合的诸多技术挑战，同时必须坚持平台内动态血缘与隐私系统。新数据模态还要与之前谈到的建模目标整合：在这些新数据源上进行实体提取等建模工作流，模型可能来自众多不同供应商或内部团队，但需要统一的治理与追踪骨架——从数据到模型发布再到反馈。更复杂的是跨机构、跨辖区的互操作挑战：各机构负责自己的敏感信息管理协议。

为此，团队扩展了现有访问控制模型，构建了基于分类的访问控制（CBACK，Classification-Based Access Control），使平台能够管理数据、情报与工作产品的分类及相应限制——不仅在单一国防机构内，还跨合作机构在共同环境中协作。在无法实时映射的环境中，系统必须自动理解给定信息的限制，因为跨辖区或跨工作流过度暴露数据有真实后果。操作中的流动性同样关键：如何让半技术甚至非技术用户安全地新增或修改禁打击名单条目（例如出现新的平民伤害情报时），同时符合 CBACK 标记规则？当用户自创数据被用于完全不同的工具集时，如何确保控制同样适用？与伙伴国共享、权限混合时如何调和？Bowman 称这些都是关键的「管道工程」问题，决定了能否在实地有效行动。

六、生成式 AI：本体论、可观测性与治理的合流

进入生成式 AI 时代，Bowman 强调 Palantir 的哲学姿态被一些人称为「AI 怀疑论」，但她认为更准确的说法是「AI 现实主义」（AI realism）。这建立在多年思考之上，可追溯至 Palantir 最早的日子：挑战「仅靠机器解决大海捞针式问题」的假设，必须整合人机共生（human-computer symbiosis），把最佳的人类直觉与机器大规模处理数据的能力结合起来，以可辩护、负责任的方式推进。在大语言模型与生成式 AI 出现前很多年，Anthony Baca 和她曾在大学讲座中讲述「AI 的局限」：AI 是令人印象深刻的技术，但脱离现实——实验室或研究机构中的「障眼法」并不算数，真正的考验是在运营环境中让技术与现实的粗糙挑战正面相遇，这才是最难的工程问题。

这种认知也影响了关于负责任 AI 的讨论。Bowman 在 Palantir 转向 AIP 时发表过一篇博文，主张重新框定「有效 AI」与「伦理 AI」的问题：当你深入运营现实，会发现让 AI 真正起作用所需的关切、考量与实践，与 AI 的伦理实施有很强的合流。这一洞察驱动了团队在 AI 生命周期管理上持续投入，从经典 AI 扩展到 LMM 应用。

AI 现实主义的关键技术落点仍是本体论。大语言模型能力强大但与个体情境高度脱节，它们训练于人类语言，如何赋予其真正的理解而不只是词汇熟练度？本体论系统最初只是数据与部分行动的分隔化建模，经过商业与疫情时期的演进，拥有了更精细的行动与模拟定义方式，现在又纳入逻辑与推理的体现方式——它成为人类与模型共同的「理解枢纽」。Bowman 形容这是顿悟时刻：本体论可能就是人与 AI 之间真正的共享底座（shared substrate），完成数据、逻辑、行动、安全与数据保护的四重整合。没有这个核心，没有这种转导（transducing）人类与 AI 行动的方式，就无法以符合规范、可被度量的方式运营这些模型。

AIP 可观测性概念同时封装了「AI 在实地起作用需要什么」与规范性关切：AI 在做什么？能信任吗？可解释吗？透明度足够吗？能否向监管者或监督机构做出可回溯的断言？这些都是建立机构信任、让系统可靠的关键能力。团队还在经典 ML 测试评估框架的基础上构建了 AI 的测试、评估、验证与维护组件：需要在具体应用情境中敏捷地评估 AI 工具是否在做该做的事，定义度量指标，建立可复现框架，以便模型、应用或数据环境随时间变化时持续评估。Bowman 提醒系统内建了脆弱性（brittleness），维护组件处理的是应用的长尾问题——花哨的应用可能前期表现良好，但六个月后若系统退化，就会出现信任侵蚀的真实问题。

应用案例上，医院系统正在把智能体集成进护士排班、容量管理、患者护理等关键工作流——但没有人会接受「拨一下开关就让智能体全权接管」。更现实的是共享工作台（shared harness）：资深护士排班专家让 AI 在其分诊工作流的某一部分逐渐发挥作用，提出可能的排班建议，减轻手工劳动，让人类放大自身专业能力——这正是「通过软件赋予人类超能力」。招聘工作流则要在自动化与偏见控制之间取得平衡。每一个案例都像是逐步拧紧扳手走向史诗结局，而不是瞬间实现一切的魔法精灵——否则一旦系统做出出乎意料的事，「模型漂移」这个词将被赋予全新含义。

随着采用扩大、监管环境日益复杂，团队构建了 AI 用例管理器（AI Use Case Manager）——一种治理工具，帮助在多利益相关方环境中跟踪复杂应用，对照特定监管或监督要求，随时间识别 AI 应用、不断变化的模型与应用情境之间的一致性。它在政府与商业业务中都获得了大量采用。

展望未来，Bowman 对开发者工具链的爆发感到兴奋：不到一年内举办三场开发者大会，初创企业队列与公司内部构建者需求井喷。本体论 SDK、Foundry MCP（可在安全方式下构建系统）以及从 Autopilot 到新可观测性工具的能力，将让 AI 构建者获得相当于 2010 年代中期超大规模云构建者的体验。在 PCL 团队内部，短期重点是回到构件本身：把本体论概念构建进 AI 应用的治理框架——一致的、与监管政策环境相关的概念可以翻译为平台内 AI 技术应用及其治理。更进一步，是在 AI 用例管理器中探索生成式 AI 与智能体组件辅助治理本身：反复出现的模式与经验可以转化为智能体应用，帮助机构与监督当局负责任地管理 AI 用例。Bowman 坦言要警惕高估能力，但这是他们正在攻克的最新矛盾——用更好的治理来支撑更多的构建。