无参强化学习：当AI学会“写代码”来决策

在人工智能领域，强化学习长期以来依赖深度神经网络的参数更新来优化决策策略。然而，OpenAI核心研究员翁家翌近期提出的一种全新范式——启发式学习（Heuristic Learning, HL），正在悄然打破这一传统认知。它不更新神经网络参数，不依赖梯度下降，而是让AI“手搓”一个.py文件，通过代码编辑实现智能决策，甚至在经典游戏《Breakout》中打到了864分的理论满分。

这一突破不仅挑战了“强化学习必须训练网络”的固有思维，更揭示了通往可解释、可持续、高效率AI决策的新路径。

从“黑箱优化”到“代码即策略”

传统深度强化学习（DRL）的核心逻辑是：智能体通过与环境交互，不断调整神经网络中的权重参数，以最大化长期奖励。这一过程依赖于梯度下降，本质上是“黑箱优化”——我们无法清晰理解智能体为何做出某个动作，只能看到输入与输出的映射。

这种模式带来了三大顽疾：
- 灾难性遗忘：新任务的学习会覆盖旧任务的参数，导致已有技能丢失；
- 决策不可解释：动作选择隐藏在海量权重中，难以追溯逻辑；
- 样本效率低下：需要海量交互数据才能收敛，训练成本高昂。

而启发式学习HL的颠覆性在于：它完全抛弃了参数更新的范式。智能体的决策不再由神经网络权重决定，而是由一段可读、可编辑的Python代码实现。HL将策略表达为显式的符号规则，例如：

if ball_position < paddle_position:
    move_left()
elif ball_position > paddle_position:
    move_right()

每次迭代，由GPT-5.4驱动的Codex系统会分析智能体在环境中的表现，查看失败日志，理解状态变化，然后像程序员一样修改代码逻辑，添加新规则或优化旧逻辑。学习过程不再是“调整数字”，而是“编写软件”。

知识显式化：持续学习的真正解法

HL的真正优势，在于它将“知识”从隐式的参数空间迁移到了显式的程序空间。

在HL框架中，智能体维护的不是一个孤立的策略模型，而是一个完整的“智能软件系统”：
- 状态检测模块（如“球速向右，位于左上方”）
- 决策规则库（if-else逻辑链）
- 测试用例与回归检查
- 失败记录与版本历史

当环境变化或任务更新时，旧的能力不会被覆盖，而是被封装成可复用的代码模块。新的学习不是“覆盖”，而是“扩展”。这使得HL天然具备抗遗忘性和可解释性——开发者可以随时审查、调试、干预决策逻辑。

翁家翌指出：“HL把持续学习从‘如何更新参数’变成了‘如何维护一个持续吸收反馈的软件系统’。”这正是其核心价值所在。

性能验证：从Atari到机器人控制

HL的表现令人瞩目。在《Breakout》游戏中，它达到了864分的理论满分，远超人类水平。在更广泛的Atari 57基准测试中，HL在统一交互步数下，整体中位性能已与传统PPO算法持平，在多款游戏中甚至超越人类基准。

更令人惊讶的是，在MuJoCo机器人连续控制任务中，HL同样表现出色。以四足机器人Ant为例，它从基础步态规则起步，逐步加入姿态反馈、触地感知和短程模型预测控制（MPC），最终综合评分突破6000分。在HalfCheetah任务中，HL更是跑出11836的平均高分，展现出对高维连续动作空间的强大适应能力。

值得注意的是，HL并非完全排斥梯度技术。例如，在MPC模块中仍会使用梯度进行局部动作优化，但这些梯度仅用于实时决策，绝不用于训练神经网络或更新参数。这种“梯度局部化”设计，既保留了计算效率，又避免了参数更新的副作用。

边界与融合：HL不是万能的

尽管HL展现出巨大潜力，翁家翌也清醒地指出了其局限性：“我想不出有个agent能搓出一个纯Python code、不用神经网络去解决ImageNet。”

从原始像素中提取高级语义特征，仍然是深度神经网络的强项。HL的优势集中在策略迭代与持续适应层面，而非感知或特征学习。

因此，未来的关键命题不是“取代神经网络”，而是如何融合两者：用神经网络处理感知输入，用HL构建可解释、可维护的决策逻辑。这种“感知-决策”分离架构，有望成为下一代智能系统的标准范式。

HL的出现，标志着强化学习从“黑箱优化”迈向“程序化智能”的重要转折。它不只是一个新算法，更是一种新哲学：让AI的决策过程，像代码一样清晰、可控、可进化。

标签： 强化学习 启发式学习 可解释AI 持续学习 AI决策系统