工业界后训练实践摘录（Industry Post-Training Digest）

作者：Jeff Peng

industry-post-training-external.pdf（中文，1,745 页，约 19 MB）汇总了 177 篇工业界文档里讲后训练的部分。这些文档来自 49 家机构，时间从 2018 年到 2026 年，包括模型技术报告、训练系统与框架论文、训练配方、Agent 环境、官方博客和技术博客。

涵盖哪些内容

• SFT 与冷启动，后训练流程的几种形状
• RL 目标函数：GRPO 及各家的改法（clip、advantage、loss 聚合、critic），KL / 熵 / 长度怎么控制
• 训推不一致、异步 RL 与 staleness、RL 训练框架怎么搭
• 奖励与奖励模型、reward hacking、Agent 环境与多轮 RL、蒸馏与合并
• 各家的训练规模（卡数、步数、时长），反复出现的结论，分歧，原文自己前后不一致的地方
• 提得最多的做法、踩得最多的坑：给每篇文档打标签、按做法和坑计数，附表逐篇列出出处和页码

怎么读

• 第一部分是跨文档的总结，每个判断都链到对应的摘录。
• 第二部分是索引，可以按公司、按名称、按主题找文档，并附原文链接（arXiv 或官方页面）。
• 第三部分是逐篇摘录，按公司分组，每篇用同一个模板：原文出处、类型、后训练在哪几页、一句话；然后是流程总览、SFT / 冷启动、RL（算法、奖励、数据与环境、规模、基础设施）、关键数字、经验与坑。

摘录规则：数字照抄原文并标 PDF 页码；原文没写的写"文中未给出"，不推测，不补外部知识；原文自己前后不一致的地方照录并注明。"经验与坑"里附英文原文短引。

下载

PDF 用 Git LFS 存储。在网页上点文件后选 Download 即可。用 git 克隆的话，先装 Git LFS，或在克隆后执行 git lfs pull。