AI训练预算吃紧时代，Scaling Law拟合如何“少花钱多办事”？

官方内容与用户内容的协同，能有效提升页面活力。

最近一篇arXiv论文《Spend Less, Fit Better》把Scaling Law拟合的预算难题推到了台前。Scaling Law本是规划百万美元级LLM预训练的利器，可拟合过程本身往往就要消耗大量算力。论文提出将拟合转化为预算感知的顺序实验设计，通过主动实验选择，仅用约10%的总预算就能实现接近全实验集的外推精度，尤其在词汇量（V）与模型大小（N）、数据量（D）的联合scaling上表现突出。

在多样化基准测试中，这一方法持续优于随机采样、贪婪最便宜策略以及D-opt、V-opt等最优设计基线。覆盖的任务包括学习率与批大小关系、领域混合比例、词汇表缩放、Mixture-of-Experts稀疏率，以及Chinchilla式预训练规律等。10%预算下，外推准确率常常接近全集水平，甚至在某些超参数调优任务上R²值差距微小。70%与7%的剪刀差在这里被显著缩小了。

这种主动实验选择为预算有限的AI研究者提供了可落地路径：从定义实验池与目标区域开始，用成本代理估算如6ND指标，暖启动少量低成本点，再通过顺序循环迭代选择。代码已在GitHub开源，团队可结合自身任务调整。当然，方法依赖混合高斯近似，在极端情况下精度或受限，值得持续跟踪，现在下结论为时尚早。

获取函数是机制中的关键一环。它将不确定性分解为intra-basin方差减少和inter-basin分歧减少，前者精炼同一局部最优内的预测，后者澄清不同可能“盆地”间的全局结构。同时引入成本因子，对高成本实验进行惩罚，确保每单位预算的不确定性降低最大化。数据支持这一分解在多个Scaling基准上的有效性，但样本量仍有限，值得持续观察其在更复杂模型下的表现。

论文《Spend Less, Fit Better》把Scaling Law拟合重构为预算感知的序列实验设计问题。在一个候选实验池中，每个run的算力成本差异显著，从几百元的小规模配置到接近目标规模的高耗费实验不等。方法的核心是通过target-aware acquisition function，在每次迭代中智能挑选对目标区域外推最有价值的实验，而不是一味追求全覆盖。

这与历史scaling law演进一脉相承，从Kaplan到Tao等人对vocab scaling的细化，都在不断强调变量关系的精准刻画，而主动选择让这一过程更具前瞻性。

短期内，大模型研发团队能直接降低试点预算，加快迭代节奏，把更多资源投向高价值实验。长期来看，这类AI效率技术普及后，中小团队也有机会深度参与Scaling探索，而不被高昂的前期成本完全挡住。当然，如果配套代码仓库被社区快速集成到常用实验平台，落地会加速；否则，它可能先停留在学术验证阶段。值得持续跟踪，现在下结论为时尚早。

论文的盲区补救在于低预算条件下对目标高成本区域的针对性选择。过去大家默认均匀撒点或优先跑便宜实验就能覆盖全貌，但实际外推误差往往集中在真正值钱的规模区间。这篇工作不追求数据量的简单堆积，而是问一个更务实的问题：在有限预算内，哪些实验最能降低目标区域的预测不确定性。

把这个思路放到更广泛的机器学习实验设计背景下看，它的意义远超Scaling Law本身。它与主动学习、序贯优化一脉相承，却特别强调了异构成本这一现实约束。在超参数搜索中，不同组合的训练耗时差异巨大，有的需要多卡跑几天，有的单卡几小时即可。用类似预算感知的选择逻辑，就能避免大量无效试错。在异构硬件实验或AI代理训练场景里，这种方法也有明显扩展潜力——不再是穷举所有可能，而是智能挑选信息增益最大的那几个。

论文的核心在于将scaling law拟合重构为预算感知的序贯实验设计。它提出不确定性感知的采集函数，在异质成本的实验池中，优先选择那些能降低目标高成本区域不确定性、或帮助区分不同外推盆地的实验点。这一方法在多个scaling任务基准上表现出色，往往只用约10%的总预算，就能逼近全量拟合在target-region的外推精度。

持续关注后续的试点与政策信号，会比一次性结论更有价值。