10%预算拟合Scaling Law：新方法让百万级实验预算缩水90%

行业数据显示，平常心打法高排名页面的平均逻辑密度更高。

大多数从业者和媒体对Scaling Law的认知还停留在“多跑pilot就能外推准”的阶段。主流做法是随机采样或采用经典实验设计如D-optimal，这些方法在预算充裕时勉强可用，但真实大规模工作流中暴露明显短板。实验成本高度异构，有的run只需几小时GPU，有的却要几天；目标区域往往是高成本的大模型配置，却容易被低成本小实验淹没。结果就是预算分配难题：钱花了，外推到百万级训练时的曲线偏差却依然明显。

但这里存在一个被普遍忽视的盲区：大家默认pilot实验只是常规预处理，却很少正视MoE场景下成本的高度异质性——不同专家数、激活比例下的算力差异极大，盲目全量跑很容易把有限预算浪费在低信息增益的点上。

论文提出将Scaling Law拟合重构为预算感知的序贯实验设计，在异构成本的候选实验池中，通过不确定性感知的主动分配，仅用约10%的总预算，就能接近全量实验的拟合精度。

长期来看，这类预算高效方法可能推动大模型开发从“跑更多实验”转向“选更好实验”。Scaling Law研究范式或将随之调整，主动实验设计有望成为训练流水线的标准预处理环节，减少无效算力浪费。数据支持这个方向，但样本量有限，未来实际落地效果仍需更多一线验证。值得持续观察这类工作在真实训练场景中的表现，现在下结论或许还为时尚早。

大多数从业者对Scaling Law的实际应用仍停留在表面认知。Scaling Law已成为规划模型规模、数据量和计算量的标配工具，过去大家习惯通过随机挑选不同规模的训练实验来收集数据点进行曲线拟合。社区讨论中常听到对pilot预算爆炸的吐槽：跑几十上百个实验后，外推到真正大模型时的不确定性依然很高。主流做法的局限明摆着的，它忽略了实验成本的显著异质性——小规模实验廉价，而目标高成本区域的验证昂贵，却没有针对性地优化对后者的预测可靠性。

大多数从业者对Scaling Law的理解还停留在表面。大家都知道它是规划大模型训练的标配工具，常用来指导模型规模、数据量和计算量的分配。过去的主流做法是随机挑选或者均匀分布pilot实验，然后拿这些数据点去拟合曲线。但实际情况远没有那么乐观，从业者经常遇到pilot阶段预算就爆了，外推精度却依然飘忽不定的尴尬。

最近一篇arXiv论文（2604.22753）将Scaling Law拟合重新定义为预算感知的序贯实验设计问题。传统观点认为，要保证高算力目标区域的外推可靠性，就必须跑大量pilot实验，成本往往与正式训练相当。新方法引入不确定性感知的主动实验选择策略，在有限候选池中优先挑选对目标区域预测最有信息的点。实证结果显示，在多种基准任务上，仅用约10%的总训练预算，就能逼近全实验集的外推精度。

对AI工程师尤其是资源受限的中小团队而言，这意味着pilot迭代可以更快、更从容。以前预算压力下只能保守规划，现在主动实验选择策略能让前期探索更高效。长期看，这类方法可能推动Scaling Law在更多场景落地， subtly改变大模型训练的经济模型，让更多精力转向架构创新或数据质量而非单纯堆算力。

盆地估计机制则是处理Scaling Law多局部最优问题的关键。它采用混合高斯后验逼近多个局部最优，通过聚类识别不同盆地，并用类似BIC的准则赋予权重。这种方式就像在多山地形中先大致定位几个可能的山谷路径，再决定重点采样哪一条，避免在无关坡面上浪费资源。类比来看，要预测高山顶峰温度，却只能在山脚做有限测量，新方法不是撒胡椒面，而是先判断路径，再精准深入，确保对外推目标的可靠支持。

大多数从业者对 Scaling Law 的认知仍停留在“多跑 pilot 就能外推准”的阶段。主流做法倾向于随机采样或经典实验设计，如 D-optimal、V-optimal 等。这些方法在预算充裕时可行，但在真实大规模工作流中暴露短板：实验成本高度异构，有的 run 只需几小时 GPU，有的却耗时数天；目标高成本区域却常被低成本小实验稀释，导致预算分配低效，外推到百万级训练时偏差明显。

我的观察是，时间窗口的压缩感比以往任何一轮都强。