Skip to content

About

算力约束下提升大语言模型能力的资源配置建模。涵盖数据质量综合评价与质量冲突消解、17 领域配比-损失定量建模、含 N/D/Q/p 的广义标度律与弹性分析、算力预算(10¹⁹–10²⁴ FLOPs)下训练/质量/长上下文三类开销的联合优化与结构性转移识别,以及开源大模型能力演进的规模扩张/技术进步贡献分解与前沿预测。

Resources

Stars

11 stars

Watchers

0 watching

Forks

Latest commit

 

History

195 Commits

Folders and files

Repository files navigation

llm-compute-allocation-modeling

算力约束下提升大语言模型能力的资源配置建模

2026 年中国研究生数学建模竞赛(华为杯)· F 题 完整建模方案

Contest Status Paper Tech Claims Data

大模型训练好比培养一名高质量学生:参数量 $N$ 是脑容量,数据量 $D$ 是阅读量, 算力 $C$ 是教育经费,数据质量 $Q$ 是教材质量,领域配比 $p$ 是各科课时分配。 算力总有上限 —— 参数、数据、质量、配比与上下文长度之间如何取舍? 本项目用 90+ 个版本(v1–v98 复算实验脚本)的建模迭代给出完整答案。

💬 欢迎与反馈:本项目是持续实时更新、迭代优化的开放求解方案。我们深知任何 模型与求解都不完美,真诚欢迎每一位读者、参赛者与评审提出任何意见、批评与 建议——无论是解题思路、建模细节、算法实现、数据口径还是表述问题,都欢迎 提出。我们会虚心接受每一条反馈,并据此不断重算、修订、更新仓库,把方案打磨得 更严谨、更完善。同时,也欢迎你分享自己的解法、思路与实验心得,与我们一起交流 互鉴、共同进步。

💬 想一起交流解题思路、建模细节、分享解法经验与迭代优化?扫码加入微信群, 随时欢迎你的意见、批评与讨论:

微信群交流二维码


📖 摘要

针对"算力约束下提升大语言模型能力的资源配置"问题,本文以"数据刻画 → 规律统一 → 约束优化 → 前沿预测"为主线,基于真实公开语料质量信号、配比实验数据、尺度律训练日志与开源模型评测数据,建立了覆盖数据质量、领域配比、广义标度律、多维资源优化与技术演进预测的完整模型链,全部结论均经多重稳健性检验。以下按四个问题逐一给出回答:

  • 问题一(数据质量与领域配比):对 22 项质量指标(14 标量 + 8 列表型)完成方向统一、缩尾与归一化预处理,构建"熵权 + CRITIC 组合赋权 + TOPSIS 贴近度"质量评分链,给出 27.3 万条样本的样本级与七域域级质量分(book 0.631 居首、stackexchange 0.339 垫底,Kruskal-Wallis $p<10^{-300}$,两两检验 21/21 显著,5% 抽样下域序仍 100% 保持);定义内容/格式双族冲突指数并给出对称截尾消解规则(加权↔TOPSIS 线性族域序 Spearman=1.000;对称截尾消解保持簇级域序,k 扫描 Spearman 0.57–0.96,全量同源逐位闭合);建立 17 域配比-13 损失域岭回归模型,发现跨尺度系数收缩律 $\kappa=0.314031$——配比效应随规模幂律衰减,实测配比调节收益约 3%、处方预测降幅上界 11.9%–16.9%,仅为有限杠杆。答:数据质量可被科学度量,域级质量序(book 居首、stackexchange 垫底)可作语料配比的优先级依据;配比效应随规模幂律衰减、属有限杠杆,质量工程的重心应转向提升整体数据质量 $Q$。

  • 问题二(广义标度律):将数据质量 $Q$ 与领域配比 $p$ 纳入经典标度律,构造并比较六种候选形式,质量-参数量交互形式 $L(N,D,Q)$ 以 BIC 决定性胜出($\Delta$BIC>10,$R^2=0.979073$),加入质量项后留出误差降 53%(RMSE 0.126→0.060)、所选交互($N$) 形式留出 RMSE 0.051 最低且相对经典降 59.5%(配对检验显著),非过拟合;弹性分析给出 $\varepsilon_Q=0.146080>\varepsilon_N=0.060185>\varepsilon_D=0.029942$(175 个参考点 100% 稳健),质量提升 0.1 等价于参数节省 0.063B→0.243B→约 0.83B(随规模近线性放大);推出计算最优数据曲线 $D^{*}(N)=49.8N^{1.046}$,与 Chinchilla 经验规则和前沿实际训练点互证。答:广义标度律成立且形式唯一(质量–参数量交互),$Q=1$ 自动退化回经典形式;质量弹性($-0.146080$)高于参数量($-0.060185$)与数据量($-0.029942$),质量提升 0.1 等价于增加约 0.288515B 参数——提升数据质量是比扩大参数或堆叠数据更高效的杠杆。

  • 问题三(算力约束联合优化):计入训练开销 $6ND$、质量提升开销 $D[g(Q)-g(Q_0)]{+}$ 与长上下文注意力开销 $\eta N D L{ctx}$,建立多维资源联合优化模型(SLSQP 24 初值全收敛);联合优化较纯规模基线收益 0.8%–6.7%(中预算 $10^{22}$ 最大 6.4%),最优参数量 $N^{}\sim C^{0.46}$,预算-损失满足对数线性律($R^2\approx0.999$);给出结构性转移的精确定义与识别方法——质量通道在各成本形式下以不同带宽(exp 1.52 个数量级 > power 0.97 > log 0.38)渐进激活/饱和;临界上下文长度 $L_{ctx}^{crit}=6/\eta=30000$ 内注意力成本占比约 $10^{-17}$,长上下文部署对最优配置影响可忽略。答:三档预算下最优策略确证结构性转移——预算低于约 $10^{18}$ 量级时纯规模扩张($Q=Q_0$),越过阈值后质量投入激活、$10^{22}$ 量级 $Q$ 饱和于 1;最优参数量幂律 $N^{}\sim C^{0.46}$ 与真实模型云的 OLS 斜率 0.490 一致;配比属有限杠杆,直接质量投资才是主导途径。

  • 问题四(技术演进与前沿预测):基于 2493 个开源模型(2024-06—2025-03)建立能力前沿二元分位数回归 $\ln S=2.480669+0.364315\ln N+0.089045t$,规模扩张贡献 83.7%(Bootstrap 区间 81%–87%,家族留出 $b_N\in[0.353,0.384]$ 跨族稳定);将能力增长分解为规模扩张与非规模技术进步并量化各自贡献,识别出前沿能力正从通用知识/指令跟随向硬推理迁移(MATH 年化 +0.89、IFEval 近饱和)且 10–30B 为中大规模甜点区;开源-闭源差距呈"中段追平、两端滞后约 10%"结构;预测 12/24 个月开源前沿得分 $S_{12}=71.7$、$S_{24}=123.9$(90% 区间含情景不确定性,长周期不确定性主要由 $g_N$ 情景假设主导,24M 占 77.6%)并给出能力目标→训练算力→工程规模的换算接口($S=90 \Rightarrow$ 约 6.6 万卡天)。答:开源前沿能力提升以规模扩张为主(83.7%)、非规模技术贡献 16.3%;算力增长放缓情景下 12/24 个月前沿分降至 57.1/78.6(基础情景 71.7/123.9),放缓对长期预测的压制更明显,C8 逐任务聚合口径与排行榜对照可靠。

关键词:大语言模型;标度律;数据质量评价;领域配比;算力资源优化;分位数回归


🔬 多框架交叉验证总览

"对比多个框架的算法"的集中证据:每个问题的核心结论均用多种独立实现/框架 交叉复算,且全部为确定性复现(csv/json 零漂移可复核)。

环节 主链路 交叉验证框架 一致性结论 实验
问题一 · 质量评分 熵-CRITIC 组合赋权 + TOPSIS 贴近度 8 种评分方法(TOPSIS/SAW/GRA/RSR/熵-CRITIC/CRITIC-only/PROMETHEE-II/VIKOR) 加权/折衷五方法两两 Spearman≥0.93,W=0.98 置换 p<0.001;秩法 RSR 系统性偏离;冲突消解 k 扫描 0.57–0.96 簇级稳健(全量逐位闭合) v37/v81/v85/v89
问题一 · 配比模型 岭回归(L2 + λ 正则) 5 独立实现 κ=0.314031 系数极差 3×10⁻¹⁰ v75
问题二 · 标度律拟合 scipy least_squares TRF 6 框架(TRF/dogbox/LM/L-BFGS-B/DE/Adam)+ 留出 CV 配对被检验 参数跨框架一致,810 点预测最大差异约 1e-3;交互(N) 留出最优(0.051)、相对经典降 59.5% 且配对显著(Wilcoxon p<0.001) v73/v87
问题二 · 模型选择 BIC(TRF) 4 框架(TRF/L-BFGS-B/DE/Adam) BIC 排序完全一致;次优 ΔBIC=20.36 恒成立(>10 决定性) v50/v84
问题三 · 联合优化 SLSQP 24 初值 9 条求解路径(4 原约束 + 5 罚函数+可行化精修),转移带宽阈值口径敏感性 9/9 实例一致,最大相对偏差 2.6×10⁻²%(6/9<1e-6),Q* 跨度 5.5×10⁻⁶;exp>power>log 带宽序跨 4 种口径不变 v72/v83/v88
问题四 · 前沿分解 LP 分位数回归 5 框架(LP/statsmodels/sklearn/L-BFGS-B/Adam) 系数跨框架一致(b_N 极差<0.2%),τ∈[0.5,0.99] 族稳健 v74/v77
问题四 · 前沿预测 线性 QR 外推 4 种趋势形式 + 集成(MAPE 反比加权/等权) 回测 MAPE 178/71/57/10%;饱和投影 64/103、集成投影 65/106、口径带 [64,67]/[103,110] 全部落双情景区间内 v82/v86

📑 目录


📅 更新日志

按日维护:记录建模开发、论文写作与仓库建设进展。新条目追加在最上方。

2026-09-25

κ 五框架极差精确化(3×10⁻¹⁰ → 2.6×10⁻¹⁰,Round-122)

  • v75 五框架 κ 实测极差 2.572×10⁻¹⁰(sklearn-auto/lsqr/numpy-closed/ scipy-TRF/torch-Adam:0.3140306264/…/0.3140306264/ 0.3140306262/0.3140306264),原正文"A 五框架极差 3×10⁻¹⁰"精确化
  • 修正 6 处:main.tex(摘要+AI 声明)、5_problem1(3 处跨框架段)、 A_code tab:verify;审计历史条目保留原值(不可篡改)
  • 期间修复 Python re.sub repl 转义注入($^{} 字面残留→正确 LaTeX),终态 0 残留坏转义;编译全绿 73 页、Over/Underfull 0

引用闭环收尾 + 连续核验轮(Round-104~120,审计逐轮记录)

  • Round-104:eq:classical(经典标度律)/ eq:frontier(QR90 前沿式) 两原型方程补 \ref 引用 → 图/表/公式 0 未引用终态达成;编译全绿 73 页
  • Round-105~120 核验轮(均无文件改动、核对全部通过):
    • 结构:10_evaluation 总起段与节内顺序逐字吻合;AI 使用声明六项完整 (工具/三环节/45 项审计/责任声明,黑体小四置参考文献前);README 竞赛素养与声明区与正文声明逐字对应;摘要四问段与问题分析预告 模型名逐一呼应;摘要灵敏度段四项 ↔ 9_sensitivity 12 小节覆盖一致
    • 数值核对(正文 vs 结果文件逐位):对称截尾 k=6 默认(p1_quality 主逻辑)与 v28 k 扫描 0.307→0.3583(+16.7%);弹性 175 参考点 (v41,|eps_Q|>|eps_N|>|eps_D| 全 175 点成立占比 1.000);转移 阈值(v91 推算 exp 6.3e17/power 2.0e18/log 3.2e18,v53 带宽 1.52/0.97/0.38,v88 阈值口径稳健);参数不确定 7%--12%(v54 份额 11.79%/7.34%);联合优化增量收益 0.8%--6.7%(v27 dL_pct, 中预算 6.4%/6.7%、高预算 5.3%);L_ctx 临界点 30000(v67/ p3_lctx_sensitivity,三预算份额相等 0.388);弹性三系数与 Bootstrap 区间(p2/v33 逐格);能力杠杆六通道(v29);前沿断点 (v42 HHI、v23 增速反转、v32 滚动 1.10→0.50、v7 Chow 2024.5); 预测点估计(v82/v86);留出 CV(v26/v87,Wilcoxon p=3e-4); 结论四问总览表(R²=0.979073 等全对源);评分方法一致性(v81/v85 置换 p=0.06 与零分布 95% 分位 0.82)
    • 观察记录(Round-118):预测表 90% 区间 [61.5,83.4]/[105.0,142.3] 为主脚本 nboot=800/σ=0.12 运行期打印, 仓库无逐位存档;v16 同口径复现 [105.94,143.74] 差 ≤1.5 分(≈1%), 未改正文数字、口径可信

9_sensitivity 小节顺序对齐总起段三类组织

  • 原顺序问题一消融/无监督对照/配比收缩 3 个小节排在问题四区之后, 与总起段"首先(问题一质量评分)→随后(问题二三标度律/转移阈值/ L_ctx)→最后(问题四预测)"不符
  • 重排后 12 小节:问题一 4(权重扰动/指标消融/无监督对照/配比收缩) → 问题二三 3(形式选择/转移阈值/L_ctx)→ 问题四 5(分位数/时间 离散化/断点/ML 对比/自助区间),内容一字未改仅内部顺序调整
  • 3_assumptions 8 条假设附带"理由"全部对应正文支撑: Spearman=1.000(加权-TOPSIS 线性族/全量排序 1.000)、配比杠杆 约 2%(正文多出处)、L_ctx^crit=30000=6/η 等;无"列而未用"假设
  • 编译全绿、布局 0 缺陷、73 页

10_evaluation 缺点拆分为 2 条(对照 C 题 6.2 多条目风格)

  • "数据口径与假设外生的局限"拆分:① 数据口径局限(B 族半合成/ g(Q) 参数跨度大/C1 评分受提交意愿影响,改进:真实多质量档校准/ N-Q 交互/成本标定/去偏因子得分)② 外推形式局限(lnS~lnN+t 线性 外推 24 个月后可能饱和失效,改进:logit 上界饱和项/滚动再估计 窗口)
  • 内容不变、仅重组为两条各带改进方向;编译全绿、布局 0 缺陷、73 页
  • README 顶部 6 枚徽章终检:Paper 73 pages / Claims 45/45 / Status Completed / Contest Huawei Cup 2026 全部与论文状态同步

A_code docstring"附录 B"→"B 族数据"(消除与论文附录混淆)

  • lstlisting 代码注释"附录 B 亦拟合 additive/…对照形式"原义指附件 B 数据族(B6/B7 半合成实验),与论文附录 B(质量成本函数参数)易混 → 改为"B 族数据亦拟合"
  • 终检:A_code/B_params 已无"附录 B"字样残留;changelog 历史 "附录 B 数据口径"类 4 处按历史保留原则不动
  • 编译全绿、布局 0 缺陷、73 页

附录编号与引用重映射(B_params 双 section → 附录 B/C)

  • 发现:main.tex 已有 \begin{appendices} 环境(gmcmthesis \appendix \thesection=附录@Alph 生效),B_params 含两个 \section → 实际 编号为"附录 A 核心代码 / 附录 B 质量成本函数参数 / 附录 C 附件 使用与数据口径说明"
  • B_params 标题"质量成本函数参数(附录 B)"去冗余 →"质量成本函数 参数"(避免"附录 B …(附录 B)")
  • 引用分流:摘要 5 处"附录 B"(总起段数据口径 + 四问"结果详见表X 与附录 B")→"附录 C";10_conclusion"附录 B 数据口径说明"→ "附录 C";README 运行环境"数据口径见附录 B"→"附录 C"
  • 7_problem3(3 处)与 A_code(1 处)"附录 B 参数/激活饱和特征量" 保持(附录 B = 质量成本函数参数)✓;AI 声明"附录 A"保持 ✓
  • 编译全绿、布局 0 缺陷、73 页

10_conclusion 文字瑕疵修复 + 结论结构终检

  • 体会段"预测、拟合、优化与预测的"重复"预测"→"拟合、优化与预测的" (其三:中间过程应当可复核)
  • 结论结构终检(对照 C 题融合方案):四问总览表 tab:conclusion + 三点方法论体会(其一交叉验证/其二数据口径/其三过程可复核)+ 适用边界 + 与题面要求的逐项对照(tab:checklist)完整
  • 叠词/错别字扫描:全文 0 真错误(命中均为"两两/域域"等合法短语 或跨词巧合)
  • 编译全绿、布局 0 缺陷

C1/C2 计数口径标注(审计 Issue 88 修复:4576 与 4564 并存)

  • 1_restatement 数据族说明改为"C1/C2(开源模型排行榜 4576 条,解析后 有效 4564 条,后者为开源筛选分母)"——并列标注两口径,与 B_params"开源筛选 2496/4564"、8_problem4"筛选 2496/4564 条"一致
  • 数据计数交叉核验:A1 51230 + A2 17523 + A3 203752 = 272505 (README/B_params/1_restatement 三处一致);C3=4599、C4=3523、 C7=45、C8=1863 一致
  • 编译全绿、布局 0 缺陷、73 页、0 未引用

正文动词多样性润色(得到→求得/解得,参照范文行文)

  • 5_problem1"拟合求得 κ=0.314031"、6_problem2"求得质量投资回报曲线" 与"数值微分求得的质量弹性"、8_problem4"代入 t=3 解得"—— 4 处替换,语义与数字零变化
  • "得到"仍 23 处(保留在"计算得到/处理得到/扫描得到"等自然语境)
  • 假设终检:8 条假设全部带"理由:"(8/8,编号连续)
  • 编译全绿、布局 0 缺陷、73 页、0 未引用

README 问题三答句补"真实模型云 OLS 0.490"证据对照

  • 问题三答句补"N*~C^0.46 与真实模型云 OLS 斜率 0.490 一致" (正文 7_problem3 验证段有,README 摘要区此前遗漏)
  • 四问验证段手段数核验:问题一 7 种、问题二 8 种、问题三 6 种、 问题四 8 种(交叉验证/Bootstrap/留出/配对/置换/复算/回测等) ——规范④建立→求解→验证闭环(验证≥2 手段)全覆盖

AI 声明支撑材料明确指向 + tab:files 补说明文件分类

  • AI 声明两处"见支撑材料"改为明确指向:附录 A 表 \ref{tab:files} 所列说明文件(PAPER_CLAIM_AUDIT.md 逐条审计记录、README.md 使用 环节说明)——参照 C 题 tab:files 含"AI 工具使用详情.pdf"的做法
  • tab:files 新增"(四)说明与核验文件"分类:PAPER_CLAIM_AUDIT.md (45 项断言审计记录)、README.md(AI 使用环节与说明)
  • 修复 tab:files 中 \texttt 长文件名 Overfull(\allowbreak), 布局恢复 0 缺陷、73 页
  • 引用完整性 0 未引用;tab:files 引用增至 3 处

摘要行距优化(参照 C 题 \begingroup\linespread{1.22}\selectfont)

  • main.tex 摘要正文加 1.22 行距(\begingroup\linespread{1.22}\selectfont …\endgroup,关键字保持 1 倍行距),摘要可读性提升
  • 页数 72 → 73 页(摘要行距增 1 行跨度):徽章/仓库结构/竞赛素养三处 同步;历史 changelog 保留原状
  • 问题三"顺序决策陷阱"表述确认("先定规模、后补质量"→联合优化提前 为质量通道定价并预留预算,损失下降)——与 C 题证伪实验精神一致
  • 编译全绿、布局 0 缺陷

章节总起段补齐(9_sensitivity/10_evaluation,参照范文行文)

  • 9_sensitivity 补总起段:按"首先(质量评分环节:权重扰动/消融/无监督 对照)→ 随后(能力方程与优化:形式选择/转移阈值/Lctx)→ 最后(预测 环节:分位数/离散化/噪声)"三类组织敏感性分析,均给出量化边界
  • 10_evaluation 补总起段:"先给优点,再汇总能力杠杆总览与决策对照, 最后说明缺点与改进推广方向"——与四问统一总起段("按照模型建立→ 求解→验证的流程组织本节")风格一致
  • 纯句式润色、数字零变化;编译全绿(tex_build_v91/v92)、布局 0 缺陷

正文人称"我们"补齐(规范③,参照范文"我们不妨考虑…"句式)

  • 5_problem1 指标预处理段补"我们先把列表型指标…"、组合赋权段补 "我们采用熵权法与 CRITIC 法…"(2 处)
  • 7_problem3 目标函数段补"我们按题意建立联合优化模型…"(1 处)
  • 8_problem4 能力度量段补"我们采用 C1 排行榜 6 维平均分…"(1 处)
  • 纯句式润色、数字零变化;编译全绿、布局 0 缺陷

README 运行环境补 TeX Live 版本 + 敏感性/KKT 数值交叉核验

  • 编译区补"TeX Live 2024 以上(XeLaTeX)"(参照 C 题运行环境表述)
  • 交叉核验通过:预算-损失对数线性 R²≈0.999/斜率 −0.160、KKT 规模指数 b/(a+b)≈0.49、N*~C^0.46 与真实模型云 OLS 0.490、饱和预算(对数型 3.2×10¹⁸ 首饱和)均在 7_problem3/9_sensitivity/B_params 与 README 各处一致

问题四前沿预测补三步流程说明(规范⑤:算法步骤化)

  • 8_problem4"前沿预测(12/24 个月)"段落补三步流程概述: ① 分位数回归参数给当前基线 → ② 双情景(历史延续/减半)外推 → ③ 自助采样 800 次量化 90% 区间并与备选趋势形式投影对照
  • 与问题三 SLSQP 求解算法 enumerate 三步流程(参数设定→多初值迭代 →预算阶梯扫描)形成一致的步骤化风格;纯结构改动,数字零变化
  • 核验通过:README 多框架总览 16 个 v 编号全部对应实际脚本; 正文 81 图全部存在且 caption 无版本前缀残留
  • 编译全绿、布局 0 缺陷、0 未引用

README 顶部徽章/引言同步(61→72 页徽章、60+→90+ 版本)

  • Paper 徽章"61 pages"→"72 pages"(与仓库结构/竞赛素养两处一致)
  • 引言"60+ 个版本"→"90+ 个版本(v1–v98 复算实验脚本)" (solve/experiments 实有 92 个 v* 脚本)
  • 结构核验通过:四问全部"模型建立→模型求解→模型验证"三小节(与范文 5.x.1/5.x.2/5.x.3 一致);每问验证≥2 手段(问题一 3 类:可视化 20 余幅 +数值交叉验证+物理对照);AI 声明(L150-152)确在参考文献(L182) 之前,六项 itemize 完整

README 页数声明同步:61 → 72 页(新增结论章节/框架图/验收清单后的实际页数)

  • pypdf 实测 main.pdf 共 72 页(main.xdv 输出一致);仓库结构注释与 竞赛素养声明两处"61 页"→"72 页";历史 changelog 条目(29→61 页) 保留原状
  • 章节对照确认(参照范文):问题分析"针对问题X我们构建…模型"句式、 问题重述(背景/提出/已知数据/输出要求)、模型评价优点覆盖建立/求解/ 验证三维、README 目录区完整——均与范文结构一致,无需改动

README 数据说明口径同步(A 族样本数精确化)

  • 原"A 族质量信号 90k 样本 + 扩展集"(无来源、口径含糊)→ 精确 "A1 51230 条 + A2/A3 扩展 221275 条,共 272505 条有效样本" (与正文 1_restatement / 附录 B 数据口径一致)

整体润色批次 14:支撑材料表升级 + README 复现命令修正

  • 附录 A 文件列表由段落升级为分类表格 tab:files(参照 C 题 tab:files 格式):模型求解主程序(common + 五个主脚本)/ 工具绘图脚本 (plotstyle)/ 复算实验脚本(92 个 v*,确定性复现);运行环境保留
  • README"编译与复现"修正:主脚本实际位于 solve/code/(原 cd solve 有误),脚本名修正(p3_optimization.py / p4_evolution.py),补 experiments 复算示例(v29 杠杆总览)与运行环境说明
  • 编译全绿、布局 0 缺陷;tab:files 引用闭环,终态 0 未引用

整体润色批次 13:技术路线框架图 + 结果验收清单(继续参照 C 题 main.tex)

  • 问题分析"总体思路"小节补四问技术路线框架图(figures/v99_pipeline_overview.png, 水色系 0.00% 违规):数据族 → 四问建模 → 核心方法 → 关键产物,质量分 Q 与 损失 L 贯穿全程,与 C 题"总体技术路线 + fig:fwall"排版对应
  • 附录 A 补结果验收清单表(tab:verify,参照 C 题 tab:verify): 问题一/二/三/四 + 物理自检五层面验收项(八方法一致、BIC 决定性、九路径 一致、五框架系数一致、κ 极差 3×10⁻¹⁰ 等),全部通过
  • README 图数量注释 82 → 99
  • README"四问建模主线"开头补同一张技术路线图(与论文 fig:pipeline 一致)
  • 编译全绿、布局 0 缺陷

README 残留"约 84%"同步为 83.7%(与正文/摘要/JSON 三处一致)

  • 问题四方法表"贡献分解"行与图注"规模扩张贡献约 84% / 非规模约 16%" → 83.7% / 16.3%(p4_results annual_decomp=0.836570)
  • 正文 8_problem4/9_sensitivity/10_evaluation 三处"约 84%"已于 Round-65b 同步;至此 README 展示区与论文全部 83.7% 口径一致

整体润色参照 C 题范文/融合最优方案(批次 12:结论章节 + AI 使用声明规范化)

  • 参照 C 题融合最优方案 main.tex:新增独立"结论"章节 (sections/10_conclusion.tex,位于灵敏度与模型评价之间)——四问结论总览表 (tab:conclusion)+ 方法论三点体会 + 适用边界 + 与题面要求的逐项对照表 (tab:checklist,四问交付逐项打勾),正文章节链完整化: 问题重述 → 分析 → 假设 → 符号 → 建模求解 → 灵敏度 → 结论 → 评价 → 附录
  • AI 工具使用声明规范化(2026 规定第 3 条:参考文献之前): 由文末"附录 C"三行 enumerate 升级为参考文献之前黑体小四标题 + 五项 itemize(使用工具 GLM 系列大语言模型、三环节:代码生成与调试/语言润色 与排版/图件脚本辅助、人工核验方式、责任声明),与 C 题 main.tex 声明 格式一致;README 竞赛素养与声明同步更新
  • 编译全绿、布局 0 缺陷;README 仓库结构补 10_conclusion.tex

README 摘要四问条目补"答:…"收束句(README 与论文摘要逐问作答一致)

  • 总起段已声明"以下按四个问题逐一给出回答"(Round-63),本条目为每个 问题条目末尾补 答:… 显式答案句: 问题一(域序可作配比优先级依据、配比有限杠杆约 3%)、问题二(交互 形式唯一成立、Q=1 退化、质量弹性最高 -0.146080、等价 0.288515B 参数)、问题三(结构性转移确证:<10^18 纯规模扩张 Q=Q0、越过阈值 质量激活、10^22 饱和于 1;配比有限杠杆、质量投资主导)、问题四 (规模 83.7% 主导、放缓 12/24 月 57.1/78.6 vs 基础 71.7/123.9、 C8 聚合可靠)
  • 与论文摘要(main.tex"由此回答问题X")形成三处一致:正文/论文摘要/ README 摘要

论文摘要与 README 摘要改为"逐问作答"结构(摘要回答问题)

  • main.tex 摘要四问各段末尾补"由此回答问题X:…"收束句,直接给出每问答案: 问题一(域级质量序可作配比优先级依据、配比有限杠杆约 3%)、问题二 (交互形式唯一成立、质量弹性最高 -0.146080、等价 0.288515B 参数)、 问题三(结构性转移确证:低预算 Q=Q0 纯规模扩张、越过阈值质量激活、 $10^{22}$ 饱和于 1;配比有限杠杆、质量投资主导)、问题四(规模贡献 83.7% 主导、放缓情景 12/24 月 57.1/78.6 vs 基础 71.7/123.9)
  • README 📖 摘要总起段补"以下按四个问题逐一给出回答"引导句,四个问题 条目本身即以"问题X(…):结论"作答式呈现
  • 编译全绿、布局 0 缺陷

README 顶部新增"欢迎与反馈"谦虚引言 + 微信群文案强化分享交流

  • 标题块与微信群块之间新增 blockquote 引言(参考 D 题"欢迎与反馈"版式): 明确"深知任何模型与求解都不完美,真诚欢迎任何意见、批评与建议", 承诺"虚心接受每一条反馈,据此不断重算、修订、更新仓库",并欢迎 "分享自己的解法、思路与实验心得,交流互鉴、共同进步"
  • 微信群文案补充"分享解法经验":💬 想一起交流解题思路、建模细节、 分享解法经验与迭代优化?扫码加入微信群,随时欢迎你的意见、批评与讨论
  • 前部标题/badges/引言/摘要/总览内容仍保持不变,仅插入引言并微调微信群文案

README 加入微信群交流入口(参考 D 题 README 版式,前部内容保持不变)

  • 标题块之后新增居中微信群二维码块(WeChat.jpg,自 D 题仓库同步复制),文案"💬 想一起交流解题思路、建模细节与迭代优化?扫码加入微信群"
  • 文末"竞赛素养与声明"末尾补一条微信群引用(二维码见顶部),与 D 题"如何参与与反馈"的微信群条目呼应
  • README 前部标题/badges/引言/摘要/总览全部内容未改动,仅追加微信群块与文末引用;WeChat.jpg(271 KB)已随仓库提交
  • 编译与正文不受影响

README 摘要与全文 6 位口径全面同步(正文/摘要/README 三处一致)

  • 摘要总起段表述微调("四个递进环节"→"四个递进问题的建模与求解",与四问结构呼应);编译全绿、布局 0 缺陷
  • README 📖 摘要:κ 0.314→0.314031、弹性 0.146/0.060/0.030→0.146080/0.060185/0.029942、前沿 QR 2.481+0.364+0.089t→2.480669+0.364315+0.089045t、等价参数修正约 0.6B→约 0.83B(v51 N=3 实测 0.8289,纠正原错误值)、留出 CV 口径修正(53% 为加入质量项 0.126→0.060;交互(N) RMSE 0.051 最低、相对经典降 59.5%)、规模贡献 84%→83.7%、处方上界补全 11.9%–16.9%
  • README 展示区同步:交叉验证表、四问主线表、核心结果速览表、能力杠杆总览(0.197243/0.160923/0.146080/0.089045/0.060185/0.029942)、关键方程(广义标度律改写为正文交互 N 形式 L=E+AN^-a+BD^-b+C(1-Q)^g N^-h + R²=0.979073)
  • 更新日志历史条目保留原口径不改(诚实记录原则)

P1 消解核验升级为官方全量口径(v89 终版)

  • 复算与 p1_domain_quality.csv 数值逐位闭合(|ΔQ|max=5.6e-17,含位移差);官方 csv 复核 Spearman(加权,TOPSIS)=1.0、Spearman(加权,消解)=0.5714 精确复现
  • k 扫描(272,505 全量,官方预处理含负向取反/NaN-nansum):0.57–0.96(k=2 0.96 / k=4 0.82 / k=6 0.57 / k=8 0.57);c4 由第 3 升至第 1 与 book 互换(前二簇差 0.004)、arxiv 落至中段、stackexchange 垫底
  • 替代冲突指数(总体 std):高冲突子集域序 vs 全量 Spearman 0.96(识别稳健);冲突率 vs 消解位移 0.17/−0.20(无系统关系,同 v57)
  • 论文 §5 两处数字同步(0.71–0.93 → 0.57–0.96,标注 272,505 同源逐位闭合;垫底域精确为 stackexchange);README 摘要/发现行同步

P1 冲突消解核验(新实验 v89)+ 论文表述精确化(重要发现)

  • v89(官方聚合口径:冲突倒数加权域均):官方 csv 复核 Spearman(加权, TOPSIS)=1.000 复现 ✓
  • 发现:论文原"消解后域序 Spearman=1.000"有误——1.000 属于线性族(平权→加权→TOPSIS,同保留幅值),而对称截尾消解本身对加权域序只有 k 扫描 Spearman 0.57–0.96(k=6 为 0.57,与官方 csv 逐位闭合;book/c4 前二簇分数差仅 0.004、stackexchange 垫底)
  • 修正(三处 §5 + README 摘要):阶段三改标"TOPSIS 贴近度"、1.000 限定于线性族、消解表述改"簇级保持而非逐位不变"、图注同步
  • 附:替代冲突指数(总体 std)高冲突子集域序 vs 全量 Spearman 0.96(识别稳健);冲突率 vs 消解位移 0.17/−0.20(与 v57 的 0.0 同结论:无系统关系)

P3 转移带宽阈值口径敏感性(新实验 v88)+ §10 评价表同步 v85–v88

  • v88(读 v31 解族轨迹,主口径 [0.52,0.88] 复算 1.6028e18 校验通过):替代口径 [0.45,0.95]/[0.50,0.90]/[0.55,0.85] 下 exp>power>log 带宽排序全部不变;激活/饱和预算绝对序在极端口径插值尾部有轻微翻转(正文不依赖,诚实记录)
  • 论文 §7 转移带宽段新增阈值稳健句;§10 决策对照表四行稳健性来源补强:P1"W=0.98 置换 p<0.001"、P2"留出最优配对被检验显著"、P3"带宽排序跨阈值口径不变"、P4"集成口径带全部落区间"
  • 图 v88 配色 0.00%

写作风格规范全文应用(风格改造批次 11:eq:classical_fit2 引用闭环收尾)

  • 最终引用完整性扫描发现 eq:classical_fit2(拆行产物)未被正文引用,合并回单一 align 环境(eq:classical_fit 唯一 label),图/表/公式 0 未引用终态达成
  • 编译全绿、布局 0 缺陷;远程 HEAD 核对一致

写作风格规范全文应用(风格改造批次 10:κ 关键参数 6 位口径统一)

  • κ 收缩指数统一 6 位(v75 JSON 精确值 0.314030626):正文 6 处 κ=0.314 → 0.314031(§5 主链路拟合/图题/跨框架段/互证段/小结、§6 引用、§9 稳健性段),与摘要/10_evaluation 已有 0.314031 一致
  • c=0.730 截距无 JSON 精确来源,保守保留原值(诚实护栏)
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 9:全文通读校对——敏感性数字纠错)

  • 全文通读校对发现并修正一处数字错误:§9 广义标度律形式选择段原写"若误用加性形式则约为 -0.141,相差约 3.5%"——-0.141 实为交互形式 bootstrap CI 上界(-0.141736),并非加性形式弹性
  • 按 p2_scaling_results.json 的加性形式参数 + v92 相同有限差分口径(hh=1e-3)重算:加性形式 eps_Q=-0.148470,与最终交互形式 -0.146080 相差约 1.6%,已改为真实值
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 8:附录一致性/禁用词终检)

  • 附录文件列表与实际一致:补 plotstyle.py(绘图样式),明确 common.py/plotstyle.py 为工具脚本、五个主要脚本列核心片段(诚实口径:不再说"每个脚本")
  • 正文提及 v 编号 71 个全部有对应实验脚本(0 缺失);solve/code 实际 7 文件与列表吻合
  • 摘要关键字终核:5 个名词短语空格分隔(数据质量评分 冲突消解 广义标度律 算力约束优化 前沿预测)
  • 禁用词全文终检:综上/值得注意的是/显而易见/不难发现/众所周知 0 处
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 7:决策表/假设/灵敏度 6 位口径收尾)

  • 能力杠杆总览(§10 与摘要灵敏度段)升级 6 位(v29 JSON 精确值):上下文 0.197243、预算 0.160923、质量 0.146080、时间 0.089045、参数 0.060185、数据 0.029942
  • 决策表问题四行 b_N=0.364315、b_T=0.089045;假设 7 弹性 0.146080
  • §7 C7 上下文收益曲线系数升级(v9 JSON):bN=0.252057、bL=0.197243;截距 0.367 无 JSON 来源保守保留原值
  • Bootstrap 区间表/叙述(0.146 [0.142,0.151] 等)保留区间口径;分位阶梯/滚动/图描述引用保留近似
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 6:摘要/正文 6 位小数口径终核)

  • 经典标度律参数升级 6 位(JSON p2_scaling_results.classical 精确值):E=1.689798、A=0.353980、α=0.339977、B=1.240306、β=0.279878(原 3 位),摘要同步
  • 问题四前沿回归系数升级 6 位(v74/p4_results 精确值):c=2.480669、b_N=0.364315、b_T=0.089045(原 3 位),涉及方程 eq:frontier_fit、五框架复现段、增长分解式、小结、§8 主链路复算段与摘要同步;分位数阶梯/滚动叙述性引用(0.177→0.089→0.044 等)保留原口径
  • eq:classical_fit 因 6 位参数超宽,拆两行;摘要问题二段 sloppypar 包裹修 33.895pt 溢出
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 5:算法 Step 编号/区间写法核查/句式抽查)

  • P3 求解算法改为规范 Step 1/2/3 编号流程(参数全列:边界 N∈[0.005,10⁵]B、D∈[0.2,10⁵]B、Q∈[Q₀,1],随机 24 初值,SLSQP 最大迭代 400/容差 1e-9,预算阶梯 181 点 0.05 步长),从文字描述形式化
  • 区间写法核查:全文 44 处闭区间 [a,b];疑似圆括号区间仅 N(0,1) 正态记号与代码 normal(0,0.12),非区间笔误 → 合规
  • 句式抽查:1_restatement 已有"根据题意,……"规范起句
  • 编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 4:参考文献/数值口径/敏感性诚实核查)

  • 参考文献少而精闭环:12 条文献原 0 处正文引用 → 全部补 \cite(Kaplan/Hoffmann 经典标度律、Sardana 数据质量标度律、Hernandez 迁移标度律、Hwang&Yoon TOPSIS、Diakoulaki CRITIC、Shannon 熵、Hanselman 岭回归、Rae 6FLOPs、Brown GPT-3 背景、Epoch C4、Koomey 算力放缓),0 未引用
  • 汇总表引用更准确:摘要问题二"结果详见表"由 tab:p2_cv(留出CV表)改为新建 label tab:p2_forms(候选形式对比表),直接对应"结果"
  • 关键数值 6 位口径统一(按 v92/p2_scaling_results JSON 精确值):弹性 -0.060185/-0.029942/-0.146080(原 -0.060/-0.030/-0.146,eq:elasticity、§6 小结、§10 决策表、§9 敏感性句)、等价参数 0.288515B(原 0.289B/0.288B,3 处)
  • 敏感性诚实核查(§9):"相差 3% 以内"经核为约 3.5%(0.00508/0.14608),已按实际值修正表述,不夸大
  • 每步编译全绿、布局 0 缺陷

写作风格规范全文应用(风格改造批次 3:人称/句式/图表引用闭环)

  • 人称"我们"通检:3 处正文"本文"改"我们"(§6 参数检验、§9 无监督对照、§10 推广);摘要总起段"本文针对…"与 AI 披露保留(规范模板句式)
  • 问题分析四小节补规范起句:"针对问题X,我们构建……模型"
  • 图表引用闭环:修复 17 幅图未引用(正文补"图X是…,可以发现…"引导解读句,规范"每图至少一句解读")+ 20 个公式未引用(补 式(\ref{}) 引导)+ 全部表已引用 → 图/表/公式 0 未引用
  • 附录补"支撑材料文件列表"(代码目录/环境/结果/实验脚本/数值输出路径),符合"附录:文件列表+全部代码、代码注释中文"
  • 编译全绿、布局 0 缺陷;规范其余条目(评价节、禁用词、硬引用)前批已达标

写作风格规范全文应用(风格改造批次 2:四问三段重构+评价节)

  • 四问全部重构为规范"模型建立 → 模型求解 → 模型验证"三段:原主题小节降为 subsubsection/paragraph(问题一:质量评分/冲突消解/配比模型归模型建立;问题二:经典+广义标度律归模型建立、弹性等价性归模型求解;问题三:优化模型+结构性转移定义归模型建立;问题四:度量口径+前沿模型归模型建立、分解+预测归模型求解);每问末增补"三类验证手段"综述段(可视化+数值交叉+物理/几何对照),调用现有图证
  • 原"问题分析/求解结果/小结"小节标题随规范统一(每题开头改为总述段+流程说明句"按照模型建立→模型求解→模型验证的流程组织本节")
  • 评价节:优点 5 条保留(≥3 达标),缺点 5 条合并为 1 条综合条文(含全部改进方向),符合"缺点客观写一条"
  • 硬编码节号改 \ref:6_problem2"5.4 节"→\ref{sec:p1_mix};B_params"第 7.3 节"待查(若为编号引用需同步)
  • 禁用词全文扫描:无"综上/值得注意的是/显而易见/不难发现"

写作风格规范全文应用(风格改造批次 1:摘要/重述/假设/符号)

  • 用户给定风格规范(五段式摘要、固定章节结构、句式库、6 位小数、图表编号引用、算法 Step 描述等)作为全文唯一写作标准,分批次应用于摘要+正文+附录
  • 本批完成:①摘要改严格五段式(总起两句话 + 四问各段"针对问题X:构建…模型。首先…随后…最后…,结果详见表X与附录B" + 关键字 5 个);②问题重述改两节(1.1 问题背景 / 1.2 问题提出,原 4 节归并);③模型假设 8 条逐条补量级理由(规范要求);④符号说明改规范三列(符号/说明/单位)
  • 关键结果升级 6 位小数并按 JSON 逐位核对:R²=0.979073(v73)、弹性 -0.146080/-0.060185/-0.029942(v92)、κ=0.314031(v75)、等价 0.288515B(v92,初写 0.288520 有误已修正)
  • 摘要表引用改用 \ref(模板表编号全局连续:4.1/5.2/6.3…,硬编码会错)

排版溢出行清零(Round-38 修复)

  • 消除全部 Overfull hbox(最初 6 处:56.88/92.05/40.07/57.28pt 等)与全部严重 Underfull(badness≥8000,5 处)
  • 手法:5 处密集行内公式段包 sloppypar(§5/§6/§8/§9 共 6 段);§10 决策总表 p-列改 >{\raggedright\arraybackslash} 消除单元格拉伸
  • 实测对比:emergencystretch 全局方案会引入 5 处 badness-10000 underfull,已弃用;局部 sloppypar + raggedright 为最优解
  • 现状态:Overfull=0,Severe underfull=0,编译全绿

排版完整性走查(Round-37 修复)

  • §9 "见问题三表 4" 硬编码编号错误(模板按节编号,L_ctx 表实为表 7.10)→ 改 \ref{tab:p3_lctx}(该表补加 label)
  • 全文档 80 图 / 16 表 label 唯一性检查:0 重复;唯一硬编码表引用已修复;余下匹配均为附件编号 A12–A15 或 caption 数字,非引用

P1 配比处方收益对单域上限 c 的敏感性(新实验 v98)

  • v98_p1_prescribe_cap.py:扫描 c∈{0.1…1.0},口径与 v47 完全一致(基准逐位闭合:c=0.3→11.88%、c=1.0→16.95%)
  • 处方预测降幅从 4.9%(c=0.1)单调饱和升至 16.9%(c=1.0);实测最优混合行收益始终约 3% 不随 c 变化——"配比有限杠杆"结论在单域上限全域稳健
  • §5 新增连续扫描说明段;调色 0.00%

P4 追赶时间 Bootstrap 概率化(新实验 v96)

  • v96_p4_catchup_prob.py:对 v69 管道(族级月 90 分位→对数线性增速→追赶 T)做 300 次模型层 case bootstrap,输出 P(≤12/24月)、中位 T 与 90% 区间、P(永不)
  • only other/mistral 中位数可达(P24=0.40/0.18);P(永不) 普遍高(53–100%)——确定性外推可追赶的两族仍有 53–65% bootstrap 样本不收敛
  • §8 追赶外推段加固量化不确定性声明(不改结论);基线逐位对齐 v69;配色 0.00%

P1 冲突消解后八方法一致性压力测试(新实验 v95)

  • v95_p1_resolved_order.py:先按主链路消解规则(k=6 对称截尾)消解再重算八方法(口径与 v81 一致)
  • 消解后 Kendall W=0.732(vs 消解前 0.69)、两两 Spearman min 0.214/mean 0.694;锚点保持(book/c4 前二簇、stackexchange 恒垫底),但方法相对序分化(TOPSIS 消解后 arxiv 落 7、PROMETHEE/VIKOR 将 c4 置中位)
  • §5 声称仅覆盖消解前分数,无矛盾;诚实记录,零 tex 修改

P3 饱和预算对成本参数的敏感性(新实验 v94)

  • v94_p3_sat_sens.py:扫描 η∈{1e-4…4e-4} × 质量成本幅度 γ_s∈{0.3,1,3}(9 配置 × 3 形式),识别激活/首饱和预算
  • 饱和预算对 η 几乎不敏感(位移 ≤0.1 dex)、主要由质量成本幅度驱动(−0.9/0/+0.8 dex);"log 形式最早饱和"层级在全部 9 配置下保持;激活点与 v91 逐位闭合
  • §9 新增"饱和预算对成本参数的敏感性"段 + 图(配色 0.00%)

P1 组合权重扰动鲁棒性(新实验 v93)

  • v93_p1_weight_robust.py:官方全量口径(272,505 样本)上对熵-CRITIC 组合权重施加对数扰动(σ∈{0.05…0.5},每档 200 次),检验七域序稳定性
  • 基线域序与官方 csv Q_weighted Spearman=1.000 锚定;σ=0.2(±20% 量级)时域序 Spearman min 0.964/mean 0.999、book 居首与 stackexchange 垫底概率均 1.00;σ=0.5 时仍 1.00/0.995
  • §5 新增"权重扰动鲁棒性"段 + 图(配色 0.00%):book 居首/低质域垫底不依赖单一权重标定

P2 弹性与等价性自动核验(新实验 v92)

  • v92_p2_elasticity_check.py:从 interaction_N 拟合参数重推 §6 弹性表与等价结论
  • 有限差分对数弹性(hh=1e-3、基准 1.0B/300B/0.6):ε_N=−0.0602/ε_D=−0.0299/ε_Q=−0.1461 与 p2_scaling_results.json 逐位一致
  • 一阶等价 0.289B(代码口径)复现;严格非线性参数节省 0.2166B 落在 v33 Bootstrap CI [0.210,0.224] 内;严格增量口径 0.286 vs 一阶 0.289 证实"忽略 N 的非线性而略高"——0.289>0.286>0.216 链条自洽

P3 激活/饱和阈值一键复算(新实验 v91)+ §7 目标函数公式修正

  • v91_p3_activation_sat.py:复刻 p3_optimization 结构性转移扫描(logspace(17,26,181)、L_ctx=4096、SLSQP 24 初值),自动识别 Q_active(Q>Q₀+0.005)与首饱和(Q≥1−1e−9)
  • 复算与既有产物逐位一致:激活 exp 6.3096e+17/power 1.9953e+18/log 3.1623e+18;首饱和 exp 1.7783e+20/power 8.9125e+19/log 3.1623e+18(即 §9/附录 B 的 6.3e17/2.0e18/3.2e18 与 1.8e20/8.9e19/3.2e18)——"旧表"数字现可一键再生
  • §7 eq:p3obj 公式修正:目标函数误写为交互(D) 形式 C(1−Q)^g·D^{−d},与选定 interaction_N(N^{−h},h=0.163)及全部 P3 实验不符;改为 N^{−h}(A_code 早前已修,§7 遗漏,本轮补齐;纯公式展示修正,不影响任何数值)
  • 图 v91 配色 0.00%

§6 留一族交叉验证的可复现锚定(新实验 v90)

  • v90_p2_family_loo.py:B4 缩放基准 57 点 12 家族,留一族拟合经典标度律 + 常数偏移修正 R²
  • 复算结果与 §6 声称逐位一致:mean R²=0.8884(0.888)、范围 [0.3381,0.9971](0.338–0.997)、GPT2 0.3381(4 点稀疏)、Pythia 0.7880(0.788 唯一低于 0.91)、Mistral n=1 不可计算、9/10 家族 ≥0.91、α∈[0.0693,0.1731]([0.07,0.17])——该声称原无持久化来源,现可一键复算
  • 附录 B/摘要收尾核验:g(Q₀)/g′(Q₀)/Δg、饱和预算(structural_scan 首饱和 1.778e20/8.913e19/3.162e18)、经典五参数、baseline_r2_offset=0.83004 全部对上

P2 留出交叉验证配对被检验(新实验 v87)

  • v87 复现 v26 协议(K=5×REP=3、seed 42)并记录逐折 RMSE:均值与 v26 逐位一致(0.1262/0.0596/0.0511/0.0519)
  • 配对显著性(15 折配对):交互(N) vs 经典降 59.5%(Wilcoxon p=6.1×10⁻⁵、配对 t 检验 p=1.6×10⁻²¹);交互(N) vs 乘性 0.0511 vs 0.0519 降 1.4% 仍显著(Wilcoxon p=3.1×10⁻⁴);加性 vs 经典 52.8%(p=6.1×10⁻⁵)——"留出最优"非噪声
  • 论文 §6 留出 CV 段新增显著性句(59.5%/p 值/乘性对比)
  • 总览表 P4 预测行补 v86 集成口径(65.2/105.9,三种口径带全落双情景区间)

P4 趋势形式集成(新实验 v86)+ §8 模型形式风险进一步收窄

  • 新实验 v86_p4_ensemble(数据源 v82 json 只读):
    • MAPE 反比加权集成(线性 178%/二次 71%/饱和 57% 倒数作权):12/24 个月投影 65.2/105.9
    • 口径敏感性:等权平均 66.6/109.7、饱和单形式 64.1/102.7 → 口径带 [64.1, 66.6]/[102.7, 109.7]
    • 三种口径全部落在双情景区间 [57.1,71.7]/[78.6,123.9] 内 → 预测结论对趋势形式选择与集成口径双重稳健
  • 论文更新:§8 趋势形式回测段新增集成口径句(65.2/105.9 + 口径带 + 双重稳健表述)
  • 图 v86_p4_ensemble.png 配色 0.00% 合规(论文内文字引用,图入 figures/ 支撑)

全量数字抽查轮(数值对照实验文件 vs 论文引文)+ 精确化修正

  • 逐文件核验 P1–P4 头号数字(P1 域均值 book 0.631/arxiv 0.486/…/stackex 0.339、两两 Spearman 28 对均值 0.647/最小 0.143、Kendall W8=0.6908/W5=0.9771;P2 经典五参数 E=1.690/A=0.354/α=0.340/B=1.240/β=0.280、交互(N) R²=0.979、BIC −4813.73/ΔBIC 20.36、D*=49.8N^1.046、CV RMSE 0.126→0.060(53%)/0.051;P3 收敛初值 13–17、收益 0.8%–6.7%、转移带宽 1.52/0.97/0.38;P4 bN=0.364/bT=0.089、规模 83.7%、gN=1.251、预测 71.7/123.9 [61.5,83.4]/[105.0,142.3] 与 57.1/78.6 [48.4,66.7]/[67.7,92.3](p4_results.json 逐位对上)、MAPE 178/71/57/10、全样本投影 64.1/102.7、MATH +0.89)——全部对上
  • 两处精确化修正(无数字改变,仅消除歧义):摘要 53% 明确为"加性 0.126→0.060、交互(N) 0.051 相对经典降约 60%";§7 收益 6.4% 明确为幂形式(对数形式更高达 6.7%)
  • PAPER_CLAIM_AUDIT.json 审计输入哈希刷新:142 条全部按当前文件字节重算(0 缺失)

P1 方法一致性的置换检验(新实验 v85)+ README 多框架总览表

  • 新实验 v85_p1_w_permutation(n=81,230,B=2000 置换):八方法 Kendall W 的统计显著性检验
  • 结果:加权/贴近度/折衷五方法 W=0.977,置换 p<0.001(零分布 95% 分位 0.817,观测远超右尾);八方法总体 W=0.691 的置换 p=0.06(7 域自由度下功效有限,主要失分来自秩法 RSR)——"域序一致性"显著集中于加权/折衷族
  • 修复记录:kendall_w 初版 m/n(方法数/域数)取反导致 W=0.6024 误算,修正后 W8=0.6908 与 v81 逐位复现(assert 校验通过)
  • 论文更新:§5 方法一致性段新增置换检验句(p 值 + 零分布分位 + RSR 偏离解读)
  • README 新增「多框架交叉验证总览」表:P1–P4 七环节 × 框架数 × 一致性结论(v37/v81/v85、v75、v73、v50/v84、v72/v83、v74/v77、v82)

仓库 & 文档

  • 初始化并推送 GitHub 仓库 llm-compute-allocation-modeling(60 个建模提交历史 + README)
  • README 升级为开源项目风格:摘要、四问主线插图、核心结果速览、关键方程、编译与复现
  • 全部 82 张论文图统一为蓝青色系(水色 #88ada6 · 蔚蓝 #70f3ff · 蓝 #44cef6 · 碧蓝 #3eede7 · 石青 #1685a9 · 靛青 #177cb0),新增色系模块 solve/code/plotstyle.py,批量改色 68 个绘图脚本并重跑重绘,论文重新编译

建模迭代 v10–v71(论文 29 → 61 页)

  • 问题一:指标消融(留一 rho≥0.964)、剖面似然、抽样收敛(5% 抽样 book 仍 100% 居首)、域序一致性(Kendall W=0.663)、ICC 两级筛选、冲突消解有效性(域序 Spearman=1.000)、PCA 有效维度、book 指标族分解
  • 问题二:留出交叉验证(误差降 53%、RMSE 0.051)、BIC 六形式选择(interaction_N 决定性胜出)、参数 Bootstrap CI、175 参考点弹性稳健(|ε_Q|>|ε_N| 占比 100%)、质量-规模替代等值面、残差诊断、D*(N) 曲线 Bootstrap、B8 参数级复核
  • 问题三:KKT 解析核对(规模指数 b/(a+b)=0.49)、三通道边际价值(最后一美元:低预算质量回收 95%)、最优解族轨迹、结构性转移带宽(exp 1.52 > power 0.97 > log 0.38 数量级)、预算-损失对数线性(斜率 −0.160、R²≈0.999)、上下文×预算响应面(注意力占比约 10⁻¹⁷)、参数角点稳健性
  • 问题四:参数与预测自助 CI、滚动窗口核验、家族留出(bN∈[0.353,0.384])、开源-闭源规模段分解、任务×规模二维增速、分层演进、不确定性来源分解(24M 由 gN 情景主导 77.6%)、能力目标→算力换算(S=90≈6.6 万卡天)、家族追赶时间、规模-时间等能力线(边际替代率 −0.245)
  • 审计:paper-claim-audit 45 条论文断言逐条对照原始文件全部通过(22 exact / 23 rounding,0 mismatch)

v72 跨框架求解一致性核验(问题三)

  • 新增 5 框架对比实验 solve/experiments/v72_p3_framework_solvers.py:SLSQP 多初值(主链路)/ COBYLA 无导数 / 差分进化(DE)/ SHGO 全局优化 在 9/9 实例(3 预算 × 3 成本形式)上收敛到同一最优,最优损失最大相对偏差 ≤2.6×10⁻²%(6/9 实例 <10⁻⁶),最优质量分 Q* 跨框架波动 ≤5.5×10⁻⁶——全局方法独立复现主链路最优,确认为全局最优
  • 诊断发现:内点法 trust-constr 在 Q*=1 边界角点最优处数值失稳(高预算全部初值不收敛、偏差达 7.5%),佐证活跃集法(SLSQP)+ 多初值 + 全局交叉验证策略的必要性
  • 已写入论文 7_problem3.tex(新插图 v72_p3_framework_solvers.png,论文重新编译)

v73 跨框架拟合稳定性核验(问题二)

  • 新增 6 框架对比实验 solve/experiments/v73_p2_fit_frameworks.py:TRF(主链路)/ dogbox / LM / L-BFGS-B / 差分进化(DE)/ Adam 在同一数据(B6+B7,n=810)同一形式(interaction_N)上独立拟合,六框架全部收敛到同一最优——SSE 全为 1.989752、R² 全为 0.979073,8 参数最大相对极差仅 2.4×10⁻³%,810 点预测最大跨框架差异 6.7×10⁻⁶
  • 结论:梯度类、无导数全局类与深度学习优化器一致收敛到同一参数点,参数估计与拟合结论对求解框架数值稳健(与 BIC v50 / 留出 CV v26 / 残差诊断 v61 构成完整检验链)
  • 已写入论文 6_problem2.tex(新插图 v73_p2_fit_frameworks.png,论文重新编译)

v74 分位数回归跨框架交叉验证(问题四)

  • 新增 5 框架对比实验 solve/experiments/v74_p4_qr_frameworks.py:linprog 精确 LP(主链路)/ statsmodels QuantReg / sklearn QuantileRegressor / L-BFGS-B pinball 直接极小化 / Adam 梯度下降,在 C1 开源模型(n=2493,τ=0.9)上独立复算前沿 QR
  • 五框架复现同一系数:lnS = 2.481 + 0.364·lnN + 0.089·t(相对极差 c0 4e-3%、bN 2e-2%、bT 3e-1% 仅来自 Adam 有限步数未收敛),pinball 目标一致到 6 位小数,2493 点预测最大跨框架差异 1.0×10⁻³
  • 增长核算规模贡献占比五框架全部 83.66%(极差 ≤4×10⁻⁴)——跨 scipy/statsmodels/sklearn/torch 四生态的独立实现收敛到同一前沿,系数与规模/非规模分解对估计器实现数值稳健
  • 已写入论文 8_problem4.tex(新插图 v74_p4_qr_frameworks.png,论文重新编译)

v75 跨框架岭回归验证(问题一)

  • 新增 5 框架对比实验 solve/experiments/v75_p1_ridge_frameworks.py:sklearn Ridge 闭式解(主链路)/ sklearn Ridge lsqr(容差 1e-12)/ 解析闭式解 / scipy TRF / Adam,在 13 损失域 × 3 参数尺度上独立复算配比-Loss 岭回归(λ=1)
  • 五框架系数一致(相对显著幅度的最大偏差 ≤8.2×10⁻⁶),3 尺度系数范数完全一致(16.45/8.84/1.72),幂律收缩指数全部 κ=0.314031(极差 3×10⁻¹⁰)——与论文 κ=0.314 逐位吻合
  • 诊断:sklearn lsqr 默认容差 1e-4 会在个别系数产生 1e-4 量级差异,收紧到 1e-12 后五框架完全一致(迭代求解器收敛容差的正确使用)
  • 已写入论文 5_problem1.tex(新插图 v75_p1_ridge_frameworks.png,论文重新编译)

v76 跨问题闭环外部验证(问题三 ↔ 真实训练实践)

  • 新增实验 solve/experiments/v76_p3_real_closure.py:用主链路求解器生成 P3 最优轨迹 N*(C)(log10 C∈[17,26],斜率 0.463 与论文 N*~C^0.46 一致),对照 B4 中 12 族 57 个真实训练点(C_real=6ND)
  • 四问闭环成立:实际模型对数规模与轨迹预测 Pearson 0.919 / Spearman 0.926,中位偏差 0.36 dex,72% 落在 ±0.5 dex 内
  • 优于经典规则:同一批点相对 Chinchilla D=20N 规则中位偏差 0.52 dex——质量感知最优轨迹比教科书规则贴合真实训练实践好约 30%
  • 残余偏差有经济含义:89.5% 真实模型处于参数偏小/数据相对充裕一侧(N<N*),与 v24"实际训练普遍数据过量"互证——P3 的配置建议正是对这一实践偏差的修正
  • 已写入论文 7_problem3.tex(新小节"与真实训练点的闭环对照" + 插图 v76_p3_real_closure.png,论文重新编译)

v77 分位数族 × 五框架交叉验证(问题四)

  • 新增实验 solve/experiments/v77_p4_tau_frameworks.py:τ∈{0.5,0.7,0.8,0.9,0.95,0.99} × 5 框架(LP/statsmodels/sklearn/L-BFGS-B/Adam)复算前沿 QR
  • 框架无关性在整族成立:每 τ 上五框架系数最大相对极差 bN≤0.13%、bT≤1.9%(后者仅来自 Adam 在 τ=0.99 有限步数未收敛,其余四框架逐位一致)
  • τ 结构发现:bT 自 τ≥0.8 起单调递减(0.248→0.089→0.044)——中分位靠时间追赶、前沿更靠规模;bN 在 τ≤0.8 缓升(0.366→0.372)后回落(0.340→0.279)——极端尾部规模回报饱和;规模贡献占比随 τ 单调上升(64.9%→65.0%→72.5%→83.7%→85.4%→88.8%),"规模主导"在 τ≥0.8 恒成立
  • τ=0.9 位于 bT 单调递减稳健中段、非极端选取;已写入论文 8_problem4.tex(新插图 v77_p4_tau_frameworks.png,论文重新编译)

摘要升级:同步 v72–v77 跨框架/闭环/τ族证据

  • 论文摘要(main.tex)4 处升级:①问题三求解描述由"双求解器"升级为"SLSQP/COBYLA/差分进化/SHGO 四类框架 × 9 组实例全局一致";②问题三末尾新增闭环外部验证句(真实训练点相关 0.92/中位偏差 0.36 dex/优于 Chinchilla 30%/89.5% 数据充裕侧);③问题四标注五框架交叉复算;④稳健性段升级:分位数族规模占比 64.9%→88.8% 单调、每分位五框架系数极差<0.2%、四问均经 scipy/statsmodels/sklearn/torch 交叉复算(配比 κ 五框架极差 3×10⁻¹⁰)
  • 升级前先核对摘要全部既有数字与源头一致(P2 经典参数 E/A/α/B/β、P4 c0/bN/bT/gN=1.251、P1 κ=0.314)——先核后写;论文重新编译

全篇零上下文 Claim Audit(保证准确)

  • 运行 paper-claim-audit:gpt-6-astra ultra 零上下文评审(codex exec 新线程,不读任何摘要/脚本,仅 tex + 原始结果),85 条量化断言
  • 审计揪出并已修正 9 处实质问题:①§8 "参数翻倍提升 25%"→对数 0.252/水平 28.7%;②§8 pinball 6 位一致仅限四框架(Adam 差 2e-3);③§8 bT 单调序列起点 0.248(τ<0.8)→0.177;④§7 "1e18 即饱和"错(扫描实为 exp 0.468 开始激活)+ 注意力占比"10⁻¹⁷"错(实为 ηL_ctx/6≈2%-14%);⑤§7 饱和预算 3.4e20→exp 1.78e20/power 8.91e19/log 3.16e18(Δg 全部核实);⑥trust-constr"全部初值不收敛"→部分初值;⑦§6 dN/dQ -2.43/.243→-2.88/.288(raw dN_per_dQ0.1=0.2885);⑧B_params 26/19+8 算术→27 原始/26 压缩后;⑨272505 vs 272486 聚合口径注明(19 条缺域标签)
  • 核实为误报:§5 的 0.585/.554/-3.11/-7.9/-802 实为 v35 逐域 CV 均值(cv_r2 0.459/0.110-0.682 全对),审计对照文件取错
  • 删除遗留文件 p4_frontier_slowdown.csv / p4_frontier_prediction.csv(09-24 审计建议,未被论文引用)
  • 交付物:PAPER_CLAIM_AUDIT.md(评审+执行方处理附录)、PAPER_CLAIM_AUDIT.json(47 文件 SHA256)、.aris/traces/paper-claim-audit/2026-09-25_run01/(prompt+评审终稿);论文重新编译

Claim Audit 二轮:missing_evidence 全量值级复核(v78 核对脚本)

  • 对 zero-context 评审标记的 37 条 missing_evidence + 4 条 ambiguous + 1 条 config + 1 条聚合逐条做值级机械核对(solve/experiments 全量输出为证据范围,脚本 v78_claims_check.py:34 项文件层探针全 PASS)
  • 再揪出并修正 4 处:①§7 "24/24 初值全部收敛"→实为 13–17 个收敛(v39 json n_success),改"成功收敛初值全部同一最优"并修正图注/图标题;②§6 "其余 11 族均>0.79"→实为 10 个可验证族中 9 个≥0.91(Pythia 0.788 略低、Mistral 不可计算);③§5 "arxiv -9.6"→实为 dm_mathematics(v19 脚本 ALIAS 误映射 dm_mathematics→arxiv,已修脚本重跑图+json,arxiv 真实自域 -2.61);④§8 "bT≈0.88/年"无出处→改"滚动窗口首窗约 1.1/年"(v32 实测 1.101)
  • 其余全部核实为真(列举):v28 k 敏感 0.307→0.358 +16.7%/Spearman 0.68-0.96;v45 ICC 0.047/F=3989.7;v58 偏度与尾占比;v60 过滤增益 5.1-2.7%;v70 PCA 3/8/11/PC1 34.2%;v48 book 分解 0.1441/+0.178/-0.013/-0.021;v7 LOFO 12 族 57 点 0.888/0.338-0.997;v50 BIC -4813.7;v33 自助 equiv_B 0.216 [0.210,0.224];v24 D*(N)=49.8N^1.046/D-N 中位 214/20.8x;v4 KKT 8-30%;v62 角点 N*4.59-7.75;v27 联合 -2.04%;v9 bL=0.197;v54 分解 42.6/11.8/46.1 与 17.2/7.3/77.6;v71 等能力线 -0.245/22%/28%;v18 回测 +105/+276/+152%;v44-v55-v63-v64-v32 任务/规模/二维/分层/滚动全部吻合;v46 家族留出 bN[0.353,0.384] 偏离5.0%;Chow F=7.95 p=2.8e-5;v16 sigma CI 三档/nboot=800;v11 ML RMSE;桥接 0.852/3.304/R²0.276;C8-C1 Spearman 0.989(n=1895)
  • 审计收口:85 条全部对齐证据(2 精确 + 30 舍入 + 40 补证 + 13 修正),执行方口径 PASS;评审零上下文报告原样保留于 PAPER_CLAIM_AUDIT.md

Claim Audit 三轮:放宽证据范围独立重审(零上下文全新评审,121 条主张组)→ FAIL → 16 处全部修正

  • 以 solve/experiments 全量输出为证据范围重跑零上下文审计(gpt-6-astra ultra 新线程,121 条主张组,94 精确/舍入):独立评审再揪出 16 处实质问题,全部核实并修正(0 误报)
  • 修正明细:①B_params 指标维数(27 字段=22 指标 14 标量+8 列表+辅助字段,修正 19+8≠26 内部矛盾);②附录 A_code 交互项 D^-d → 主链路 N^-h;③§6 N=3B 替代 0.6B → 0.83B(v51 实测 0.8289);④⑤§7/§9 损失 3.24→3.38 → 3.27→3.64(p3_lctx_sensitivity 实测);⑥B_params log g(0.4) 1.79e9 → 3.22e9(2e9·ln5);⑦B_params 饱和预算 4.3e18/3.4e20 → 3.2e18/1.8e20/8.9e19;⑧§8 S 60→150 跨度 3 → 2.2 个数量级(v68 实测 172.5x);⑨8.75e21 → 8.8e21 并注明配置(幂型中位 N6.1B/D238B·6ND);⑩家族 CV 去掉 deepseek(v46 仅 7 族、归族 2484/2493);⑪"六方法一致" → 加权/贴近度五方法一致(RSR 序位略异);⑫10 评价表 24 初值 → 收敛初值 13--17 个;⑬附录 IRLS → statsmodels QuantReg(v74 五框架口径);⑭摘要"可复算"加口径限定;⑮"新增预算全部转向规模" → 绝大部分(饱和质量成本非零);⑯Huber bT 0.21 → 0.24(新实验 v79_p4_ols_huber.json:OLS 0.2047/Huber 0.2409)
  • 新实验:v79_p4_ols_huber.json(OLS/Huber 对照固化,n=2493);v12_p4_ci.json 定位自助 CI(bN [0.347,0.378]/bT [0.068,0.103])
  • 10 条 WARN 全部处置(源计数固化于 B_params、证据文件定位、边际范围限定、trust-constr 失败记录 v72 json);执行方甄别附录写入 PAPER_CLAIM_AUDIT.md,评审原文原样保留

题意符合性核查:对照赛题正文逐问核对(硬性要求全部覆盖 + 3 处实质修正 + 2 处补强)

  • 问题三 §7.5 修正:上下文长度内生化 → C7 可行域上的权衡分析——题意明确 L_ctx 外生给定、非内点寻优变量,原"内生化/提升为决策变量"表述与题意冲突;现按"决策者按任务需求(收益权重 w)在 C7 可行域内选定取值"重述,内点变量仅为 (N,D,Q),小结与摘要同步修正
  • 问题四 §8 补强:新增模型类型区分段(题意硬性要求 pretrained vs chat/finetuned)——新实验 v80_p4_model_type.json:剔除 chat/域微调后 n=920,bN 0.365/bT 0.068/规模贡献 87.0%(主链路 83.7% 稳健);纯 pretrained 子集 bT≈-0.03、chat 子集 bT=0.129 → "非规模技术成分主要来自对齐/微调通道"
  • 问题四 §8 补强:时间轴口径显式声明(提交日期 Submission Date,以提交即测为准,避免发布/版本日期歧义)
  • 问题二 §6 补强:p 的引入通道显式说明(域级 Q 经配比加权聚合 Q̄(p)=Σp_d Q_d 进入标度律 + 配比一阶效应由 5.4 配比模型刻画,两条通道均有可检验依据);数据清单补 B9(补充大模型集合,100B 以上外推验证)
  • 问题一 §5 补强:外推段显式点名外推表 A12--A15(10b/70b 估计 Loss,非直接观测,v35 对照)
  • 核查确认已满足:全量质量信号 A1+A2+A3 域级 Q 与抽样对照;冲突分析覆盖抽样集并在含扩展集样本上检验;B1 主拟合+B2 族外+B4/B5 跨族文献+B6-B8 半合成标注+B9/B10 百亿外推;三档预算/三成本项/6ND/η=2e-4/临界点 30000/敏感性;C1+C3+C4+C6 桥接分级+C8 逐任务聚合;开源筛选双口径;AI 使用披露(main.tex 末尾)
  • 本轮无新数值主张冲突:全部补强段落基于 v80 新实验与既有实验文件

评分方法族扩展:6 方法 → 8 方法(新实验 v81,PROMETHEE-II + VIKOR 标准 MCDM 框架)

  • 新实验 v81_p1_method_agree8(n=81,230,A1+A2+A3):加入 PROMETHEE-II(outranking 净流量,7 域×22 指标域均矩阵上计算)与 VIKOR(折衷解 Q=vS+(1-v)R)两个标准多准则决策框架
  • 结果:八方法 Kendall W=0.69(6 方法时 0.66);加权/贴近度/折衷五方法两两 Spearman 最小 0.93、均值 0.97(TOPSIS/SAW/熵-CRITIC/PROMETHEE-II 四方法域序完全一致 book 最优;VIKOR 仅 book↔arxiv、c4↔commoncrawl 相邻互换);GRA book 居首全序略异;RSR 仍偏离(book 第 6)
  • 论文更新:§5 评分方法一致性段改为八方法(新统计量 + 方法学说明)、图换 v81 热力图(配色合规 0.00% 超标)、10 评价表稳健性列更新(两两 Spearman≥0.93)
  • 意义:方法共识结论在更宽的方法族上成立,"组合赋权+TOPSIS 贴近度"主链路选择依据更强

预测趋势模型的多框架回测对比(新实验 v82)

  • 新实验 v82_p4_forecast_models:v18 同一窗口集(2023→2024/2025、2024→2025)上比较四种 0.9 分位趋势形式——线性(主链路)/二次/饱和渐近 g(1-e^-λt)/零增长基线
  • 回测 MAPE:线性 178%、二次 71%、饱和 57%、零增长 10%——断点前线性外推系统性高估(与表 backtest 一致),饱和/二次误差降至约三分之一
  • 关键发现:全样本拟合下饱和/二次形式 12/24 个月投影 64.1/102.7 恰好落在双情景区间 [57.1,71.7] 与 [78.6,123.9] 之内——双情景区间已覆盖模型形式风险
  • 论文更新:§8 新增"趋势形式的回测对比(模型形式风险)"段 + 场景段注明区间涵盖备选趋势投影;预测稳健性结论强化(形式选择不敏感 + 零增长参照)

P3 求解器框架家族扩展:4 → 9 条独立求解路径(新实验 v83)

  • 新实验 v83_p3_solver9:v72 的 4 条原约束框架(SLSQP 多初值/COBYLA/DE/SHGO)之上新增 5 条"相对罚函数 + SLSQP 可行化精修"路径(L-BFGS-B/Powell/Nelder-Mead/双退火/对数网格-重启)
  • 关键实现点:罚函数以预算归一(避免 1e22 量级罚值数值停滞);罚函数收敛后用 SLSQP 短迭代(≤30 步)投影回精确可行域(1e-8 相对容差)
  • 结果:9/9 实例九路径一致——最大相对偏差 2.6×10⁻²%(与 v72 包络逐位相同,6/9 <1e-6)、最优配置 (N*,D*,Q*) 完全一致(Q* 跨度 5.5e-6);DE/双退火/网格三个全局参照独立复现主链路最优;trust-constr 边界失稳诊断(7.5%)不变
  • 论文更新:§7 跨框架核验段改九路径(含方法学说明:原约束 vs 罚函数+可行化精修两条约束处理路线)、图换 v83(配色合规 0.00%)、摘要"九类求解框架"、可复现段"九类框架一致"
  • 意义:全局最优声明从"4 框架"扩展到"9 条独立路径(含两种约束处理范式)"——对初值、收敛算法、约束处理方式均不敏感

P2 BIC 模型选择对拟合框架的鲁棒性(新实验 v84)

  • 新实验 v84_p2_bic_framework:六种广义标度律形式 × 四个独立拟合框架(TRF/L-BFGS-B/差分进化/Adam),每框架独立做 BIC 排序
  • 结果:四框架 BIC 排序完全一致(interaction_N > multiplicative > interaction_D > additive > exponential_Q > saturating);interaction_N 最优 BIC 逐位相同(-4813.73,TRF 腿复现 v50);次优 multiplicative ΔBIC 恒 20.36(>10 决定性);其余形式 ΔBIC>230
  • 严谨性修正:v50 曾以 k=7 计 saturating(实际 8 参数),v84 用真实参数个数(该形式 BIC 偏移 ln(810)≈6.7,不改变其 >200 的拒绝结论;论文引用数字 -4813.73/20.36 不受影响)
  • 论文更新:§6.2 信息准则段补"拟合框架鲁棒性"句 + 新增 fig:p2_bic_fw(v84 四面板图,配色 0.96% <1% 合规,黑色小号文字亚像素噪声)
  • 意义:"interaction_N 决定性胜出"的 BIC 证据对拟合器选择不变

全局一致性走查 + 图标题版本前缀清理(第一批)

  • 走查:摘要/评价表/可复现段与 v81–v84 全部同步(九类求解框架、八方法、BIC 四框架、P4 五框架均在位);无陈旧计数表述残留
  • §10 评价表三行稳健性来源补强:问题二"BIC 选型四拟合框架不变"、问题三"九求解路径一致(<1e-6 量级)"、问题四"趋势形式投影落在双情景区间内"
  • 图内 "vXX:" 版本前缀清理第一批:v50/v73/v81/v83/v84 五张图已重生成(纯标题改动,数值不变:v83 仍 6/9<1e-6;配色全部合规);已复制到 figures/ 并重编译
  • 待办(后续轮次分批执行):其余 ~60 个脚本图内版本前缀(v2–v77 区间,含 v74/v75/v77 框架对比图)

图内版本前缀清理第二批:源码级全量 + 第一批 10 图重生成

  • 62 个实验脚本的 set_title/suptitle 版本前缀已全部源码级清除(确定性文本替换,v67 双标题;0 未验证残留)
  • 第一批 15 个脚本重生成并核验:输出 csv/json 零漂移(git diff 为空,确定性确认);其中 10 张论文内图已复制入 figures/(v6/v9/v10/v15/v17/v19/v20/v21/v22/v24),配色全部 0.00% 合规
  • 其余 ~50 个脚本(含 v25–v77 区间)待后续轮次分批重生成并核验(README 跟踪)

图内版本前缀清理第三批:v25–v77 全部 48 脚本重生成(前缀清理完成)

  • 48 个脚本(v25/v26/v27/v28/v29/v30/v31/v32/v33/v34/v35/v36/v37/v38/v39/v40/v42/v43/v44/v45/v46/v47/v48/v51–v60/v62–v71/v72/v74–v77)全部重跑成功
  • 核验:csv/json 输出 零漂移(git diff 为空,48 脚本全确定性复现)
  • 48 张论文内图复制入 figures/;67 张 v 系列图整体配色检查 全部 ≤1%(max 0.96%,v84 黑色小号文字亚像素噪声;其余 0.00%)
  • 图内版本前缀清理全量完成(v2–v84 区间 67+ 脚本,源码与图均已去前缀)

2026-09-24

建模基线 v1–v9(论文 27 → 29 页)

  • v1:F 题基线版本——四问完整求解(质量评分/冲突消解/配比模型、经典+广义标度律、算力约束联合优化+结构性转移、前沿分解+预测)
  • v2:问题一算法家族对比(赋权×聚合 15 法 / 冲突三度量 / 配比五模型);问题二采用质量×参数量交互形式(R² 0.972→0.979);问题三双求解器交叉验证;问题四精确 LP 分位数回归(前沿 bN=0.364、bT=0.089、规模 83.7%)
  • v6/v7:全链路联合优化(配比 p 为决策变量、Q=Q(p) 内生);留一族交叉验证(12 族均值 R²=0.888);前沿 Chow 断点检验(2024.5 显著)
  • v9:上下文长度内生化——C7 上下文收益曲线 lnS=0.367+0.252lnN+0.197lnL(R²=0.535)

🎯 赛题背景

大语言模型能力由参数量 $N$、训练数据量 $D$、数据质量 $Q$、领域配比 $p$ 与算力预算 $C$ 共同决定,且四者之间存在系统性取舍:扩大规模、提升质量、延长上下文均需付出算力代价,而调整领域配比虽不增加总开销却改变算力在各领域间的分配效果。经典标度律 $L(N,D)=E+AN^{-\alpha}+BD^{-\beta}$ 未显式纳入质量与配比;随着高质量语料稀缺、数据污染加剧的"数据墙"问题凸显,在有限算力下如何分配参数、数据、质量、配比与上下文资源使其综合收益最大,成为关键的资源配置问题。

本项目围绕四问递进主线求解:问题一刻画数据本身的质量与配比,问题二把数据因素纳入标度律,问题三在算力预算下求解最优配置,问题四用历史评测数据检验规律并预测能力前沿;前一问的输出是后一问的输入。


🧩 四问建模主线

四问形成一条完整推理链:数据质量度量 → 广义标度律 → 算力约束联合优化 → 前沿预测,质量分 $Q$ 与损失 $L$ 两个量纲贯穿全程(技术路线见下,与论文 问题分析框架图一致)。

四问技术路线框架图

问题一 · 数据质量与领域配比

环节 方法 关键结果
指标预处理 列表压缩、负向取反、1%/99% 缩尾、Min-Max 标准化矩阵 $[0,1]^{n\times22}$
组合赋权 熵权法 + CRITIC(0.5:0.5) 六方法域序 Kendall W=0.66,加权族完全一致
综合评分 TOPSIS 贴近度(样本级 → 域级加权聚合) book 0.631 居首 / stackexchange 0.339 垫底
冲突消解 双族冲突指数 $\lvert Q_C-Q_F\rvert$ + 对称截尾($k=6$) 消解后域序不变(Spearman=1.000)
配比-损失 17 域岭回归 + 跨尺度收缩分析 $\kappa=0.314031$,60M 可迁移、1B 失效
处方价值 单纯形上界 / 30% 上限 + 正则 降幅上界 16.9% / 带约束 11.9% / 实测约 3%

七域域级质量分

七域域级质量分(左:加权排序;右:TOPSIS 对照)——book 最高、stackexchange 最低,与高质量预训练语料的直觉一致。

配比-损失域迁移热图

配比源域 × 损失域迁移系数热图:自域对齐 13/13 全负,配比第一作用是自域强化;book 为"广谱优质补充域"。

核心洞见:配比调节是有限杠杆(约 3%)且与质量维度解耦——预算花在"调配比"上的边际收益随规模递减($\kappa=0.314031$ 收缩律),规模做大后应转向提升整体数据质量 $Q$;域级质量分定位"第一层粗筛"(配比方向),文档级质量分定位"第二层细筛"(域内删选),两级筛选收益预期校准为 3%–5% 增量。

↑ 返回目录

问题二 · 广义标度律

环节 方法 关键结果
形式构造 经典/加性/乘性/交互($N$/$D$)/饱和/指数 $Q$ 六种候选 interaction_N 以 BIC 决定性胜出($\Delta$BIC>10)
模型验证 留出 5 折 CV × 3 重复 + 残差诊断 + Bootstrap 留出 RMSE 0.051(较经典降 59.5%、加入质量项降 53%),残差无偏 sd=0.0496
弹性分析 固定参考点 + 175 点网格 $\varepsilon_Q=0.146080&gt;\varepsilon_N=0.060185&gt;\varepsilon_D=0.029942$(100% 稳健)
替代关系 隐函数定理 $dN/dQ=-L_Q/L_N$ +0.1Q 等价参数节省 0.063B→0.243B→约 0.83B(N=0.3/1/3B,eq/N 0.21–0.28)
数据曲线 KKT / Chinchilla 式推导 $D^{*}(N)=49.8N^{1.046}$,与 B4 实际训练点互证

广义标度律拟合

广义标度律拟合(质量-参数量交互形式,$R^2=0.979$)——把质量纳入尺度律,完美退化回经典形式。

输入弹性对比

基准点各维度损失弹性:质量弹性显著高于参数与数据——"同样多花一块钱,买好教材比堆参数更划算"。

↑ 返回目录

问题三 · 算力约束下的联合优化

$$ \max_{N,D,p,Q} ; \text{能力}/ \min ; L(N,D,Q,p) \quad \text{s.t.} \quad 6ND ;+; D\bigl[g(Q)-g(Q_0)\bigr]_{+} ;+; \eta NDL_{ctx} \le C $$

环节 方法 关键结果
求解 SLSQP 多初值(24 初值 × 3 预算) 全部收敛到同一最优,1% 邻域成功率 100%
联合收益 联合优化 vs 纯规模基线 收益 0.8%–6.7%(中预算 6.4%,高预算仍 5.3%)
规模经济 $\ln(L^*-E)\sim\ln C$ 斜率 −0.160,$R^2\approx0.999$,预算每翻倍损失降 10.5%
结构性转移 激活/饱和特征量 + 转移带宽 exp 1.52 > power 0.97 > log 0.38 个数量级
上下文 $L_{ctx}^{crit}=6/\eta=30000$ 敏感性 注意力占比约 $10^{-17}$,对最优配置影响可忽略

结构性转移

幂函数质量成本下最优成本份额随预算的结构性演变(竖线为 $10^{19}/10^{22}/10^{24}$ 三档预算)——预算跨量级时资源分配发生质变。

上下文长度×预算响应面

上下文长度 × 预算二维响应面:$L^$ 路径几乎不随 $L_{ctx}$ 移动,长上下文部署对算力最优配置影响在当前成本校准下可忽略。*

核心洞见:最优策略随预算量级发生结构性转移(质量通道在指数/幂成本下有 1–1.5 个数量级的渐进过渡带);"最后一美元"的边际去向随预算递减——低预算质量回收 95%,高预算趋近 0%,质量饱和后应把钱还给规模;顺序决策(先训练后提质)会落入无质量余量的退化陷阱,质量必须作为联立决策变量预留预算。

↑ 返回目录

问题四 · 技术演进与前沿预测

环节 方法 关键结果
前沿建模 二元分位数回归(QR 0.9) $\ln S=2.480669+0.364315\ln N+0.089045t$,$n=2493$
贡献分解 线性/对数分解规模 vs 非规模 规模扩张贡献 83.7%(CI 81%–87%)
稳健性 Bootstrap / 家族留出 / 滚动窗口 $b_N\in[0.353,0.384]$ 跨族稳定,时间斜率持续下降
任务维度 C8 逐任务聚合年化增速 MATH +0.89 最快、IFEval +0.03 近饱和
规模维度 分桶增速梯度 10–30B 甜点区最快,30–100B 头部放缓
开源-闭源 分季度分规模段比值 中段 1–10B 追平/反超,两端滞后约 10%
前沿预测 基础/放缓双情景 + 90% 区间 $S_{12}=71.7$,$S_{24}=123.9$,长周期主导不确定源 $g_N$

前沿预测

开源大模型能力前沿(历史点)与 12/24 个月预测(基础/放缓情景,90% 区间)。

规模 vs 非规模贡献分解

前沿能力增长分解:规模扩张贡献 83.7%,非规模技术进步 16.3%——能力提升主要来自"花更多钱补习",而非"改进了教学方法"。

核心洞见:放缓并非来自规模弹性衰退,而是时间维度外生驱动衰减(滚动窗口 $b_T$ 持续下降、Chow 断点 2024.5);前沿正从通用知识向硬推理迁移,推理类任务增速普遍快于知识/指令类;算力受限者可通过"等待"降低参数需求(等能力线斜率 −0.245,每等 1 年参数需求减少约 22%),追赶进度者需提前投入换取规模溢价。

↑ 返回目录


📊 核心结果速览

# 问题 核心模型 标志性结果
1 数据质量与配比 组合赋权 + TOPSIS + 岭回归 book 0.631 居首;配比收缩律 $\kappa=0.314031$;配比收益约 3%
2 广义标度律 interaction_N 形式(BIC 胜出) $R^2=0.979073$;$\varepsilon_Q=0.146080>\varepsilon_N=0.060185>\varepsilon_D=0.029942$
3 资源联合优化 三通道成本 + SLSQP 收益 0.8%–6.7%;$N^{*}\sim C^{0.46}$;预算-损失对数线性 $R^2\approx0.999$
4 前沿预测 QR90 $\ln S=2.480669+0.364315\ln N+0.089045t$ 规模贡献 83.7%;$S_{12}=71.7$ / $S_{24}=123.9$

⚖️ 能力杠杆总览

能力杠杆总览

各投入维度的损失/能力对数弹性统一排序(v29):

上下文长度 0.197243  >  算力预算 0.160923  >  数据质量 0.146080  >  时间 0.089045  >  参数量 0.060185  >  数据量 0.029942

决策含义:质量与上下文是单投入杠杆最高的两个维度,数据量杠杆最低——预算分配应优先投向质量与上下文,而非盲目堆数据;该排序为问题三的资源配置提供了一致性坐标。


🧮 关键方程

经典标度律(问题背景给定):

$$ L(N,D)=E+AN^{-\alpha}+BD^{-\beta} $$

广义标度律(质量-参数量交互形式,问题二选定,$R^2=0.979073$):

$$ L(N,D,Q)=E+A,N^{-a}+B,D^{-b}+C,(1-Q)^{g}N^{-h}, \qquad Q\to 1 \text{ 时退化为经典形式} $$

三类算力开销(问题三,Chinchilla 代理):

$$ C_{train}=6ND,\qquad C_{Q}=D\bigl[g(Q)-g(Q_0)\bigr]_{+},\qquad C_{attn}=\eta N D L_{ctx},\quad \eta=2\times10^{-4} $$

能力-规模-时间前沿(问题四,QR90,$n=2493$):

$$ \ln \hat{S}_{0.9}=2.480669+0.364315\ln N+0.089045,t $$

计算最优数据曲线(KKT / Chinchilla 式推导):

$$ D^{*}(N)=49.8,N^{1.046} $$


📁 仓库结构

.
├── main.tex                        # 论文主文件(XeLaTeX + gmcmthesis 模板,73 页)
├── sections/                       # 各章节 LaTeX 源码(问题重述 → 模型 → 灵敏度 → 结论 → 评价)
│   ├── 5_problem1.tex 6_problem2.tex 7_problem3.tex 8_problem4.tex
│   ├── 9_sensitivity.tex 10_conclusion.tex 10_evaluation.tex
│   └── A_code.tex  B_params.tex  ...
├── figures/                        # 99 张论文插图(本 README 所引图均来自此处)
├── solve/                          # 求解代码(质量评分 / 标度律拟合 / 联合优化 / 前沿预测)
│   └── results/                    # 数值结果表
├── real_attachments/               # 赛题原始数据(体积过大,已 gitignore)★
├── 数据说明.pdf                    # 附件字段与使用要求
├── 算力约束下提升大语言模型能力的资源配置建模.docx  # 赛题原文
├── gmcmthesis.cls                  # 竞赛论文模板类
└── README.md

★ real_attachments/ 约 700 MB 赛题数据,GitHub 单仓库分发体积过大,已通过 .gitignore 排除;solve/results/p1_quality_all.csv(约 145 MB)超过单文件 100 MB 上限,同样移出版本控制,均可由 solve/ 代码重新生成。


🚀 编译与复现

# 编译论文(XeLaTeX,TeX Live 2024 以上)
xelatex main.tex          # 或 latexmk -xelatex main.tex

# 求解(主脚本位于 solve/code/,结果写入 solve/results/,插图写入 figures/)
cd solve/code
python p1_quality.py      # 问题一:质量评分 / 冲突消解
python p1_mixture.py      # 问题一:配比建模 / 跨尺度收缩
python p2_scaling.py      # 问题二:广义标度律拟合与弹性分析
python p3_optimization.py # 问题三:算力约束联合优化
python p4_evolution.py    # 问题四:前沿回归 / 分解 / 预测

# 复算实验脚本(每个 v*_*.py 输出对应 solve/results/v*_*.json/.csv,确定性复现)
cd ../experiments
python v29_leverage_overview.py   # 示例:能力杠杆总览(六维弹性排序)

运行环境:Python 3.14 + numpy 2.4 + pandas 3.0 + scipy 1.17 + scikit-learn 1.8 + matplotlib 3.10(单机 CPU,无 GPU),论文编译环境为 TeX Live 2024 以上(XeLaTeX);全流程可逐位复现,数据口径见附录 C 与 《数据说明.pdf》。


📦 数据说明

本项目使用的数据全部来自赛题公开附件(编号 A1–A18 / B1–B12 / C1–C10),主要包括:

附件组 内容
A SlimPajama 质量信号(A1 51230 条 + A2/A3 扩展 221275 条,共 272505 条有效样本)、RegMix 配比-损失实验(1M–70B 五档规模)、跨体系域映射
B Pythia/Cerebras 训练日志与轨迹、公开尺度律拟合数据、基于真实数据校准的半合成补充集(B6–B8)
C 开源模型评测明细(C8 逐任务 1860 模型)、算力/数据/许可字段、Loss-Benchmark 桥接数据、上下文长度可行域

半合成/估算数据(B6–B8、A12–A15 外推表)在论文中均明确标注可信度边界,不使用其表述为直接实验观测。


⚠️ 竞赛素养与声明

  • 本文为 2026 年中国研究生数学建模竞赛(华为杯)F 题参赛论文的完整复现,全文 73 页,包含全部模型推导、数值结果(45 项可核验断言逐条对照原始文件通过)与灵敏度分析。
  • 论文遵循竞赛 AI 使用规范:所有公式可推导、所有引用可核验、所有数值可复现;AI 工具使用声明按 2026 规定第 3 条置于参考文献之前(main.tex,黑体小四标题),逐条说明使用工具(GLM 系列大语言模型,对话式调用,未使用题解检索/自动答题服务)、三个使用环节(代码生成与调试 / 语言润色与排版检查 / 图件脚本辅助)、人工核验方式(45 项一致性审计 + 跨框架复算 + Bootstrap 区间)与责任声明(模型框架、求解算法、参数标定、结果分析与结论均由参赛队独立完成)。
  • 如需引用其中方法或结果,请注明出处。
  • 欢迎扫码加入文首微信群,与我们讨论建模思路、数据口径与迭代方向(二维码见顶部)。

如果这个项目对你有帮助,欢迎 ⭐ Star 支持一下~

About

算力约束下提升大语言模型能力的资源配置建模。涵盖数据质量综合评价与质量冲突消解、17 领域配比-损失定量建模、含 N/D/Q/p 的广义标度律与弹性分析、算力预算(10¹⁹–10²⁴ FLOPs)下训练/质量/长上下文三类开销的联合优化与结构性转移识别,以及开源大模型能力演进的规模扩张/技术进步贡献分解与前沿预测。

Resources

Stars

11 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages