用少量低成本实验精准预测大型AI模型性能：主动实验选择实用指南

这提醒从业者需要提升自身的行业分析和逻辑归纳能力。

这篇论文的核心贡献在于将Scaling Law拟合重构为预算感知的序贯实验设计问题。给定一个候选实验池，每个实验附带异质计算成本，算法的目标不再是简单收集更多数据点，而是最大化在高成本目标区域的预测准确性。作者团队提出不确定性感知的预算分配策略：将参数后验近似为多个“盆地”的混合高斯分布，这些盆地捕捉不同的局部最优与外推行为。

论文的核心洞见在于重构拟合流程为budget-aware sequential design，不再追求均匀覆盖实验空间，而是让采集函数动态引导预算流向信息增益最高的run。这种uncertainty-aware策略特别契合MoE的多维度scaling——总参数N、激活参数Na、专家数E、粒度G、数据集D相互交织，成本差异巨大。主动选择机制能更精准捕捉MoE特有的关系曲线，避免传统方法在高成本target region的预测偏差。

这种尴尬场景在当前AI研发流程中越来越普遍。Scaling Law本是用来指导规模、数据和计算量之间关系的工具，但在实际大型工作流里，组装一个信息量充足的实验池本身已成为主要预算分配难题，而非简单预处理。许多团队要么选择盲目全跑所有候选，要么随机挑选实验，导致外推到高成本目标区域时准确性大幅下滑，最终决策失误。70%有部署计划的企业中，全公司级规模化率不到7%，这个剪刀差与五年前上云早期阶段惊人相似，只是这次留给修正的时间窗口可能更短。

主动实验选择将scaling law拟合重构为budget-aware的序贯实验设计，在给定有限候选实验池和异构成本的前提下，优先选择那些对高成本目标区域外推最有价值的试点。论文提出的uncertainty-aware方法通过分解参数后验为多个局部最优盆的混合分布，将目标区域预测误差拆分为intra-basin和inter-basin不确定性，再计算每个候选的效用分数并除以成本归一化，从而实现智能预算分配。

传统随机或均匀采样实验点的方式，在高成本目标区域的外推准确性上表现有限。尤其当小规模试点廉价而大规模验证昂贵时，盲目分配预算容易造成资源浪费。许多团队在前期消耗大量GPU小时，却只获得泛化能力一般的曲线，难以可靠预测真正的大规模训练行为。

大多数从业者对Scaling Law的理解还停留在表面。大家都知道它是规划大模型训练的标配工具，常用来指导模型规模、数据量和计算量的分配。过去的主流做法是随机挑选或者均匀分布pilot实验，然后拿这些数据点去拟合曲线。但实际情况远没有那么乐观，从业者经常遇到pilot阶段预算就爆了，外推精度却依然飘忽不定的尴尬。

具体操作中，团队先定义实验池和目标区域。实验池可涵盖不同学习率与批大小组合、数据分配方案或架构变体，成本用6ND等代理指标估算；目标区域通常锁定亿级参数在万亿token规模的表现，这是最终决策最依赖的部分。流程从几个成本最低的暖启动点开始，数量大致匹配Scaling Law参数个数，确保初始拟合有基本支撑，随后进入迭代选择循环，直至预算耗尽。

论文《Spend Less, Fit Better》提供了一个更务实的转向：将Scaling Law拟合重构为预算感知的顺序实验设计。面对一池成本异质的候选实验，不再一次性全量执行，而是通过不确定性感知的采集策略，优先挑选对高成本目标区域外推精度提升最显著的run。核心机制是构建cost-aware score，综合均方预测误差分解、方差估计与成本惩罚项，实现逐步预算分配。

大型语言模型训练动辄耗费数百万美元，团队在正式开跑前总要依赖Scaling Law来预测参数、数据和计算的最优配比。但拟合这些定律所需的Pilot实验本身就可能烧掉巨额预算。传统做法往往随机或按经典设计撒网式跑大量小规模实验，成本高昂且外推到目标大模型区域时准确性不稳定。

值得持续跟踪的是，如果这类方法在更多真实异质成本环境下被广泛验证，AI训练前期的预算分配逻辑是否会迎来系统性重塑？目前数据支持这个方向，但样本量和场景多样性仍有限，下结论或许为时尚早。

这个瓶颈与早期互联网浪潮有相似之处。