机器之心编辑部

硅谷知名科技播客主持人 Dwarkesh Patel 近日提出一个核心命题：AI 的活干下一代训练范式究竟是什么？

Dwarkesh Patel 是硅谷近年来迅速崛起的科技意见领袖，年仅 25 岁便凭借《Dwarkesh Podcast》跻身 AI 讨论的活干核心圈层。他的活干访谈嘉宾涵盖 Ilya Sutskever、Andrej Karpathy、活干Dario Amodei、活干Demis Hassabis 及 Mark Zuckerberg 等顶尖科技巨头。活干TIME 杂志将其列入 2024 年 TIME100 AI 榜单，活干并评价其播客已成为 AI 从业者的活干重要资讯来源。

在最新一期节目中，活干Dwarkesh 将当前前沿 AI 实验室的活干主流路线概括为一个关键词：RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习）。活干

简而言之，活干RLVR 旨在让模型在大量具备自动对错判定机制的活干任务中反复试错，从而习得规划、活干纠错、活干迭代及长期执行能力。当前代码生成、数学解题等领域的突破性进展，很大程度上得益于这一思路。

然而，Dwarkesh 的核心追问在于：仅靠“可验证任务训练”，能否支撑下一代 AI 的发展？

他的回答是：可能不够。

因为一个任务不仅要“可验证”，还必须“可刷”（Grindable）。

一、 “可刷性”：RLVR 的隐形门槛

在 AI 训练语境中，“可刷性”（Grindability）指的是任务具备可大规模复制、可并行试错、可快速重置的特性。

• 代码与数学是典型的可刷任务：你可以构建一个包含待修复 Bug 的软件仓库或数学题库，将其复制成千上万份，让数千个 Agent 同时运行。只要测试通过即得分。这种环境具备高并行度、高可复现性和低重置成本，完美契合 RLVR 范式。
• 现实世界的困境：为何 AI 在“使用电脑”等通用任务上的进展滞后？尽管下单成功、会议预定等结果可验证，但真实互联网环境难以大规模复制。你无法让一千个 Agent 同时在 Amazon 上重复相同的结账流程，因为反爬机制、账户封禁及动态页面会阻断这一过程。虽然可以构建模拟器，但当前阶段的高成本与低扩展性仍是巨大障碍。

Dwarkesh 指出，AI 进步快的领域，本质上是那些能被封装为可复制、可回放、可并行训练环境的领域。这解释了为何代码、数学和游戏成为 RLVR 的天然温床，而真实世界任务却难以直接纳入。

二、 现实世界的挑战：非平稳与不可重置

当我们将视角转向更复杂的现实任务——如从零创业、赢得官司、稳定盈利或赢得选举——RLVR 的局限性便暴露无遗。

这些任务虽有其结果导向（公司是否成功、官司是否胜诉），但面临三大难题：
1. 反馈滞后：结果可能需要数年才能显现。
2. 变量过多：受地域、情绪、媒体及偶然事件影响。
3. 不可重置：现实世界是Reset-free且Non-stationary（非平稳）的。你无法将一次政治竞选或法律案件复制成一千个平行宇宙供 Agent 试错。

因此，Dwarkesh 提出关键质疑：在“可验证、可刷”环境中训练出的 Agent，能否泛化至这些真实世界任务？

这是一个实证问题，而非口号。乐观派认为，随着 RLVR 环境复杂度提升，模型习得的规划与试错能力将迁移至创业、管理等高阶领域。但 Dwarkesh 持怀疑态度，因为真实世界中高价值的知识往往是非结构化、模糊且不可重复的——如隐性流程、失败模式及人际互动细节。这些无法仅靠“刷题”获得，需要极高的样本效率。

三、 核心突破：Learning Back to the Weights

这引出了全文的核心观点：Learning Back to the Weights（将学习重新写回权重）。

当前大模型擅长 In-context Learning（上下文学习），能在长对话中临时适应需求。但这种学习往往局限于上下文窗口，会话结束后模型并未真正“长记性”。Dwarkesh 认为这是巨大的资源浪费。

模型最有价值的训练信号，恰恰来自部署后：
* 模型在真实组织中的实际表现；
* 暴露出的真实错误与失败模式；
* 用户反馈与内部流程洞察。

若这些经验无法沉淀至模型权重，则仅为短暂适应，而非能力增长。Dwarkesh 以人类学习类比：员工能力的提升并非源于记忆所有邮件，而是将经历压缩为判断力、直觉与流程理解。

真正的 Continual Learning（持续学习），不是无限扩大 KV Cache，而是从真实经验中提炼关键洞见，并将其压缩进模型权重。

四、 技术路径：OPSD 与 Dreaming

为实现上述目标，Dwarkesh 提出了两个潜在的技术方向：

1. On-Policy Self-Distillation (OPSD)

• 原理：让在长会话中积累经验的模型充当“教师”（Teacher），训练基础模型（Student）在无完整上下文的情况下做出类似判断。
• 优势：
• 区别于朴素 SFT（仅预测 Token，易陷入复述日志），OPSD 旨在提炼关键洞见。
• 无需外部可验证奖励，利用上下文内的学习信号即可进行蒸馏。
• 提供比传统 RL 更密集的监督信号，通过对比 Token 层概率分布，将稀缺经验压缩为精准的权重更新。

2. Dreaming（梦境模拟）

• 原理：AI 基于真实世界观察，自主构建模拟环境，在其中反复练习策略并强化有效行为。
• 创新点：不同于传统 Model-based RL，Dwarkesh 将其置于大模型真实部署语境中。例如，AI 观察公司业务流程后，构建“游戏版”模拟环境，测试不同沟通策略与执行路径，并将模拟经验压缩回模型。
• 意义：这可能成为 AI 扩展的第四条轴——Test-time Training（测试时训练）。过去 AI 扩展依赖 Pretraining、RL 和 Inference-time Compute，未来将增加模型在推理过程中为特定场景构造环境并自我训练的能力。

这一观点呼应了 David Silver 和 Richard Sutton 在《Welcome to the Era of Experience》中的主张：AI 下一阶段的关键在于从自身与环境互动中获取经验，而非仅依赖人类数据。

五、 展望：2027-2028 年的训练范式

Dwarkesh 将这一宏观判断具体化为未来的训练流程：

1. RLVR 预训练：训练出一个具备基本能力的 Agent，使其能在陌生问题中理清思路、尝试策略并迭代。
2. 真实部署：将 Agent 投入真实世界，参与非训练分布内的项目，与用户协作数周。
3. 经验蒸馏：任务结束后，根据用户反馈（如点赞/差评），利用 OPSD 或 Dreaming 等技术，将此次任务中的关键经验蒸馏回基础模型权重。

一旦此路径跑通，AI 的能力边界将不再受限于“可验证任务”。模型将通过 RLVR掌握代码、数学与工具调用，再通过真实部署习得组织管理与复杂协作，进而向相邻领域扩展。

结语

Dwarkesh Patel 所指的“下一代训练范式”，并非单纯追求模型更大、数据更多或 RL 更强，而是指向三个根本性转变：

1. 从发布前训练，走向发布后学习；
2. 从人类数据，走向环境经验；
3. 从上下文里的临时适应，走向权重里的长期能力。

未来最重要的 AI 训练数据，将不再是互联网文本或实验室构造的任务，而是 AI 在真实世界中完成真实任务时，自我积累的经验。