LLM训练预算百万级规划难题：如何用10%预算高效拟合Scaling Law实现最优计算分配

同城二元一分跑的快群的算法权重，正越来越向具备判断力的内容倾斜。

许多AI研究者和小团队在规划百万美元级大模型训练时，常被Scaling Law拟合环节卡住。传统做法是盲目跑大量pilot实验收集数据点，这些小规模实验的累积开销往往逼近甚至超过后续正式训练预算。结果性能预测尚未可靠，预算已大幅消耗。这种场景在当前AI研发中越来越普遍。

为什么这个方向有效？传统方法常假设实验点均匀分布，或仅关注整体参数精度，却忽略了目标区域位于高成本区的事实。新方法显式纳入预算和成本，每次选择都计算候选实验对目标MSPE的预期减少量，并进行成本归一化。低成本高信息点优先，高成本点仅在必要时执行。这一点目前行业内仍有不同声音，但实证结果显示，在实验池成本异质性明显的场景中收益更明显。

大多数从业者对词汇量scaling law的拟合仍停留在传统认知。早期Kaplan等工作让大家习惯用功率律描述性能随规模的变化，随后Chinchilla论文聚焦N-D平衡，近年社区则越来越关注更大模型往往需要更大vocab来更好压缩信息。媒体和论坛讨论常围绕“tokenization该如何优化”或“高参数模型配多大词汇表才最优”展开，不少一线工程师吐槽pilot实验成本高昂，跑出的数据对外推帮助却有限。

在覆盖 8 个任务、65 个 Scaling Law 实例的多样 benchmark 上，新方法展现出明显优势。这些任务横跨学习率与 batch size 缩放、领域混合、词汇量影响、MoE 专家混合、稀疏模型缩放等不同家族。从 1% 预算开始，它就在多数任务上优于随机、贪便宜或经典基线；到 10% 预算时，表现往往逼近甚至达到全集拟合水平，某些任务的目标区域 R² 从基线 0.5 多提升至 0.9 以上。

多盆地现象的核心在于参数拟合的非唯一性。从不同初始化出发，同一个观测数据集可能收敛到多个局部最优参数集，这些“盆地”在已观测的低成本区间表现相似，却在未观测的高成本目标区域产生显著不同的外推曲线。这带来了弱可识别方向的歧义：团队难以判断哪个盆地真正能指导百万美元级训练决策。即便是花了大笔预算跑完所有 pilot，外推准确性仍可能受限于盆地间的分歧，而非单纯的样本不足。

这件事比表面“省钱”复杂得多，尤其对正流行参数高效MoE架构的团队而言。主动实验虽能大幅压缩pilot开销，却依赖于实验池的合理构建和采集函数的鲁棒性。未来如果能更好融入shared experts等MoE特有因素，整体训练预算利用率或有明显提升；反之，高精度外推或许仍会集中在资源充裕的玩家手中。

传统被动实验设计的信息效率低下，尤其面对异构成本的实验池时问题凸显。不同模型规模、数据量或架构配置的计算开销差异巨大，却往往被均匀采样或随机选择忽略，导致大量预算浪费在低成本区域，而高成本目标区域的外推精度始终偏差明显。常见认知误区是“多跑几个实验总归更准”，但现实中低信息增益的试点反复堆积，真正能减少目标区域不确定性的高价值run却被错过。这个逻辑成立，却长期被多数团队忽视。

这个主动视角与投资组合优化中的主动采样有相似逻辑：不是均匀分散预算，而是根据当前不确定性动态调整投向信息增益最大的方向。论文强调，主动设计远不止是省钱技巧，它直接挑战了“多跑总没错”的传统范式，转而追求在有限预算下最大化对高成本目标区域的外推准确性。数据支持这一方向，但具体收益还需视任务异质性和目标成本而定。

表面上，行业主流仍停留在“多跑Pilot才能可靠外推”的认知里。从Kaplan早期工作到Chinchilla的计算最优分配迭代，大家都强调需要足够多样的小规模实验来支撑曲线拟合。这一点没错，但忽略了实验成本的异质性，以及真正昂贵的大模型配置区域才是外推优先级。结果就是大量预算在低信息增益的实验上悄然流失。

为什么这种方法对学习率和批大小这类超参数特别有效？因为它们的Scaling行为常呈现非线性，且在不同模型规模或数据regime下差异显著。传统方法容易陷入低成本区域的局部最优，而主动选择通过实时评估不确定性，避免了盲目浪费。举例来说，当批大小增大时学习率的次线性调整规律，往往需要在高计算点上验证；主动策略能更早锁定那些关键验证实验，减少无效GPU小时消耗。

这个现象的演化，仍有较多变量在起作用。