引言

大模型从“堆参数、堆数据、堆GPU”的粗放式扩张，正在转向以强化学习（RL）驱动的精细化能力Scaling。数学推理、代码生成、复杂决策与长时序Agent等高阶能力，越来越依赖“生成—执行—反馈—奖励”的闭环来持续进化。这一转向把焦点从单次预训练，拉长到“持续训练”的全流程，也把竞争维度从算法本身，拓展到能否支撑低成本、可复用、可扩展的AI基础设施。GLM-5系列最近的迭代，配合九章智算云的工程体系，给出了“训推一致”落地的一个清晰样本。

从“模型+算力”到“算法×基础设施”的协同Scaling

智谱在同一基座上，通过GLM-5.2与GLM-5.3的后训练RL持续迭代，推动模型上限。以GLM-5.2为例，在SWE-bench Pro上取得62.1分、在Terminal-Bench 3.0达到81.0分，背后是面向长时序、多步骤、工具联动场景的系统化RL训练。这意味着：能力提升不再仅靠更大的预训练，而是依赖后训练环节中“怎样生成有效Token、怎样组织环境执行、怎样提供稳定且及时的奖励、怎样快速回传参数更新”的系统协作。

这也改变了产业分工：模型厂商不再单点冲锋，AI基础设施提供方从“裸算力供应商”升级为“智能生产线的运营商”。九章智算云与模型团队在算法与工程两端同时Scaling：一边突破RL算法与策略边界，一边打磨推理服务、算力调度、状态管理与容错恢复，使大规模RL具备工业级连续生产能力。两者形成正反馈：规模化应用提出新需求，基础设施迭代释放更大RL空间，反过来再催生更强的模型能力。

“训推一致”的系统底座：Generator—Environment—Trainer闭环

RL与传统预训练的关键差别，不仅是多了一种优化算法，更在于训练系统结构发生了变化。一个可落地的RL系统通常包含：

• Generator：接收Prompt并通过推理生成Rollout（思维链、代码片段、计划步骤等）。
• Environment：执行代码、调度工具或任务模拟，产出Reward与反馈轨迹。
• Trainer：依据Rollout与Reward更新模型权重，并把新权重回传给Generator，形成Generate→Reward→Train→Update→Generate的闭环。

在这个闭环中，训练数据由模型“在线生成”，训练与推理首次形成了连续的生产关系。这带来两个工程关键点：

1) 吞吐匹配与数据新鲜度
- RL系统要平衡Trainer Throughput与Effective Generator Throughput，避免训练卡在“吃不饱”（生成不足）或“吃过期”（Rollout堆积导致策略陈旧）。
- 动态调度与弹性扩缩容是基础设施的“第一性能力”：对Generator/Environment/Trainer分别计量，按负载和延迟做分层扩容，保证吞吐与新鲜度的动态平衡。

2) 训推一致（Train-Serve Parity）
- 解码一致：训练与线上推理共享同一套Tokenizer、采样策略（温度、Top-p、解码约束）与提示模板，减少分布漂移。
- 工具一致：统一的工具路由和沙箱运行时，保证训练阶段的工具调用与线上一致，包括超时、重试、错误码与安全策略。
- 参数一致：轻量、低延迟的权重更新通道（如增量Checkpoint流式分发），让Generator快速跟上最新策略，降低Policy Staleness。
- 数据一致：对Rollout设置TTL与优先级，保证Trainer消费的是“新鲜且有效”的轨迹；对奖励与日志采用可复算、可追溯的Schema，避免环境升级造成历史数据不可用。

九章智算云与高校团队联合开展的实证研究亦表明，持续RL迭代可以显著挖掘推理潜力，诸如Qwen2.5-32B、DeepSeek-R1-Distill-Qwen-1.5B等模型在AIME 2024等基准上取得跃升；其中On-policy学习在保持策略新鲜度、降低偏移方面体现出优势。这类证据指向同一个结论：要把RL的理论收益变成稳定的工程产能，系统层面的“训推一致”至关重要。

在九章智算云把RL变成“智能生产线”

把RL当作生产线运营，核心是让“生成—执行—反馈—更新”长期保持高效、低成本、可追踪。结合GLM-5的实践，可以归纳出几类关键工程能力：

• 端到端的服务编排
• Generator/Environment/Trainer解耦为可独立伸缩的服务池；针对代码执行、网页工具调用、数据检索等场景提供标准化环境镜像与安全沙箱。

• 通过服务网格与优先级队列，实现跨区域、跨集群的任务路由与回压控制，减少局部拥塞导致的全局抖动。

• 低延迟参数分发与状态管理

• 增量Checkpoint与权重流式广播，缩短策略更新到达Generator的时间窗。

• 面向长时序Agent提供层级化状态：瞬时会话状态放内存KV，跨回合的任务进度与外部工具中间态入持久存储；统一版本化，便于回放与审计。

• 奖励与反馈的工程化

• Reward服务模块化：支持规则评分、对局胜负、评测器打分与RM（奖励模型）混合，便于逐步引入更强的评价信号。

• 负样本与拒绝采样的可控注入，配合课程学习与难度爬坡，提升“有效Token占比”，让同样的算力产出更高质量的学习信号。

• 观测、对齐与安全

• 细粒度遥测：按Prompt类型、工具链路、环境版本、策略版本聚合指标，定位性能瓶颈与对齐缺口。
• 安全护栏前置到环境层：权限最小化、资源配额与脱敏策略，避免训练中生成的高风险行为外溢到线上。

• A/B评测与门控发布，把“离线指标—在线表现—业务KPI”串成闭环，形成“可回滚”的能力升级路径。

• 成本治理与稳定性

• 以Token为核心的成本核算：把计算、存储、数据出入站、工具API调用拆分计费，支持RL特有的成本优化（如长链路推理的早停与裁剪）。
• 故障自治：检查点断点续训、环境异常自动隔离与任务重试，确保长周期RL不因单点失效而中断。

这套工程要点的本质，是把RL从“算法实验”变成“工业流程”。一旦流程稳定，模型侧即可更大胆地探索策略改进，如更长的思维链、更复杂的工具编排、更精细的奖励塑形，而基础设施则提供吞吐与一致性保障。

影响与展望

当RL成为模型能力持续Scaling的主引擎，AI云不再只是“训练平台+推理服务”的松耦合，而是承载了一条“智能持续生产线”。短期看，GLM-5等模型表明：只要保证训推一致与吞吐匹配，强化学习可以稳定地把复杂推理与Agent能力推高；中期看，产业分工将收敛为“算法迭代×基础设施共演进”的双轮驱动；长期看，RL将更深入地与数据合规、安全对齐、多Agent协作和超长上下文管理融合，催生“RL as a Cloud Primitive”的新范式。

挑战同样清晰：成本与能耗压力、跨环境的一致性维护、奖励稀疏与偏置、对齐与安全的工程落地，仍需要大量系统创新。可以预见，谁能在“训推一致”上做到可验证、可扩展、可控成本，谁就能把RL从“能力演示”变成“可持续生产”的竞争优势。九章智算云与GLM-5的结合，展示了一条可复制的路径：以系统能力为基座，让后训练RL成为稳定的工业能力，而非偶发的算法红利。

标签： 强化学习 训推一致 九章智算云 GLM-5 AI基础设施