MoE模型Scaling Law拟合如何“少花钱、多办事”？预算高效主动实验新方法解读

在附近一元一分跑的快群的驱动下，强化大局意识的排名机制正在经历一次悄然的升级。排名代发飞机【seo1268】好友聊天，输入“附近一元一分跑的快群”咨询客服，娱乐游戏作为民间很受欢迎的纸牌玩法，乐趣集中在快节奏的刺激感、心理博弈的张力，这两种玩法的规则几乎一学就会，不用记复杂的牌型搭配，就算是新手也能快速上手，梦想是前行的灯塔，哪怕渺小，也能指引方向。不必因梦想遥远就轻言放弃，逐梦的路上，本就布满挑战。拆分目标，步步前行，哪怕每天只前进一小步，也是在靠近理想。不惧旁人的质疑，不畏前路的漫长，坚守初心，全力以赴。只要心中有梦，眼里有光，脚下有路，终能跨越山海，奔赴心之所向的远方。的观察角度，有助于我们更清晰地把握当前脉络。

表面上看，大多数从业者仍停留在“多跑Pilot才能可靠外推”的共识上。从Kaplan早期Scaling Law到Chinchilla的计算最优迭代，大家普遍强调实验多样性。但这一观点忽略了成本异质性与目标区域优先级：便宜实验堆积再多，对昂贵大模型配置的预测帮助有限，导致预算在低价值区域大量浪费。

arXiv这篇工作将scaling law拟合重新定义为预算感知的顺序实验设计问题。给定一个包含异构成本的候选实验池，目标不是一次性跑全集，而是通过顺序决策，优先选择那些能最大化高成本目标区域预测准确性的实验。论文在8个多样化任务、65个scaling law实例上验证，涵盖预训练超参、数据分配、MoE架构等场景，结果显示该方法在1%预算时已优于多数基线，到5%-10%预算时接近全集拟合效果。

传统随机或均匀采样实验点的方式，在高成本目标区域的外推准确性上表现有限。尤其当小规模试点廉价而大规模验证昂贵时，盲目分配预算容易造成资源浪费。许多团队在前期消耗大量GPU小时，却只获得泛化能力一般的曲线，难以可靠预测真正的大规模训练行为。

许多AI研究者和小团队在规划百万美元级大模型训练时，最先卡住的往往不是正式训练，而是前期的Scaling Law拟合环节。传统做法要求跑大量pilot实验来收集足够数据点，这些小规模实验的累计开销却经常逼近甚至超过后续正式训练的预算。结果性能预测还没来得及准，钱已经花了大半，这让预算本就紧张的团队陷入两难。

新方法的核心在于将参数不确定性建模为高斯混合近似，以捕捉多个局部最优盆地。每次迭代基于当前数据集，用L-BFGS-B从多起点拟合参数，聚类预测空间中的盆地，然后为每个候选实验计算其对目标区域均方预测误差的预期减少量，并除以成本的α次方实现归一化。这样，算法早期侧重解决全局模糊性，后期转向精炼局部趋势，恰好匹配预算受限场景。论文在8类多样化任务、共65个实例上的验证显示，该策略在预算仅为总量约10%时，往往能接近全数据集拟合的性能。

传统 Scaling Law 拟合常依赖均匀采样或经典 D-optimal、V-optimal 设计。这些方法在参数估计上有理论基础，却容易忽略实验成本的巨大差异。有些小规模配置成本低廉，而接近目标规模的 run 可能贵出数十倍。结果是数据点积累不少，但对真正决策所需的目标区域外推精度贡献有限。业界不少讨论指出，这种做法往往陷入信息效率低下的循环，花了钱却没抓住最关键的不确定性。

这一点目前行业内仍有不同声音。数据支持主动实验选择能在基准上显著降低预算，但样本量和任务多样性有限，值得持续跟踪，现在下结论为时尚早。尤其对资源有限的团队而言，如果能有效融合MoE特有因素如shared experts，这类方法或许会让整体训练预算利用率有明显提升，反之则仍可能依赖大厂级资源。

最近一篇arXiv论文《Spend Less, Fit Better》把scaling law拟合这个看似技术性的问题，重新拉回到现实预算约束中。scaling law原本是用来规划百万美元级训练跑的利器，但拟合过程本身就可能烧掉不菲的算力。论文将这一过程重构为预算感知的序贯实验设计：在成本异质的实验池里，通过不确定性感知的主动选择，优先执行那些对高成本目标区域外推最有价值的run。

这篇arXiv论文（2604.22753）将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定一个有限候选实验池，每个实验成本异质，方法通过不确定性感知的主动选择，优先执行那些能最大化目标高成本区域外推准确性的实验。在涵盖预训练超参、数据分配、MoE架构等多样基准上，仅用约10%的总训练预算，即可接近全实验集的外推性能。

该论文的核心思路是将Scaling Law拟合重构为不确定性感知的序贯决策过程。它显式建模参数后验不确定性，然后通过采集函数评估每个潜在实验对减少目标区域预测误差的预期贡献，并结合实验成本进行归一化选择。这种主动策略不同于经典基于设计的基线，能更精准聚焦对学习率-批大小规律外推最关键的点。基准测试表明，在多样化Scaling任务上，它往往只需约10%的总训练预算，就能接近全实验集的拟合性能。

当你把这些方法内化成日常习惯，效果就会自然累积。