为什么传统Scaling Law拟合方法已过时？新主动选择策略解析

然而根据Forrester调研，仅有不到两成的企业表示已看到清晰的成本节约或效率提升。“哪里有1元1分跑的快群”_哪里有1元1分跑的快群环球网论坛的讨论，正逐渐从兴奋转向冷静审视。

论文提出了一种不确定性感知的主动选择方法。这种方法优先挑选能最大化目标高成本区域外推准确性的实验，而非简单降低整体预测误差。核心技巧是用混合高斯近似建模参数拟合的不确定性，将其分解成不同“盆地”——这些盆地代表不同的外推趋势。早期阶段重点解决全局“盆地模糊”，后期则精炼局部相关趋势。

开源代码的及时发布为社区应用铺平了道路。作者已在GitHub提供实现，允许团队直接在自家Scaling任务上验证效果。如果方法在更多真实异质成本环境下保持稳健，它可能成为AI训练规划的标准组件之一。但反过来，若候选池假设或外推盆地估计在复杂场景中偏差较大，优势或许会打折。现在的问题是，这种预算高效拟合能否真正让中小玩家在Scaling竞赛中获得更多话语权，仍需时间给出答案。

有意思的是，盆估计并非直接在参数空间进行，而是通过预测空间聚类结合混合高斯近似和局部线性化来高效计算。这一点避免了昂贵的后验采样，同时确保外推行为由预测表现主导而非参数值本身。早期迭代更侧重降低inter-basin不确定性以区分不同盆，后期则转向细化intra-basin精度，优先级排序让资源真正流向决策最敏感的区域。

最近arXiv上的一篇论文直击这个痛点。论文《Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection》提出，把Scaling Law拟合重构为预算感知的序贯实验设计，通过主动选择实验，仅用约10%的总训练预算，就能接近用全量实验拟合的预测精度。这件事远不止省钱那么简单，它直接重塑了AI训练前期的预算分配逻辑。

在构建的多样化基准上（涵盖8个任务、65个Scaling Law实例），该方法用约10%的总预算即可接近全实验集的外推性能，显著优于随机、贪婪或经典最优设计基线。短期内，这为大模型团队的pilot迭代提供了实用路径，能更快锁定可靠趋势，减少无效支出。长期看，它可能推动行业从“堆实验”转向“智能选实验”，重塑AI训练资源的分配逻辑。

从业者对词汇量scaling law的认知大多停留在早期框架。Kaplan等人的功率律让大家关注模型规模与数据的平衡，后来Chinchilla论文细化了N-D最优分配，近期Tao等人的工作则指出更大模型往往需要更大vocab来更好压缩信息和优化embedding矩阵。社区讨论常围绕“tokenization怎么选才最划算”，却很少有人意识到传统均匀撒网的pilot方式忽略了实验的异质成本和目标大模型区域的外推准确性。

采集函数的设计是方法论中最为锐利的部分。传统不确定性度量仅关注整体参数空间，而论文强调真正重要的是目标区域的预测准确性。他们将不确定性分解为盆内方差（局部预测波动）和盆间分歧（不同scaling趋势间的冲突），并用目标区域MSPE作为核心指标。采集分数则将预期不确定性降低量除以实验成本进行惩罚，避免盲目偏好高价实验。

论文核心在于引入不确定性感知的采集函数。该方法显式建模Scaling Law参数的后验分布，尤其关注多个可能“盆地”（basin）之间的歧义，然后计算每个潜在实验在减少高成本目标区域均方预测误差（MSPE）上的价值。不同于经典实验设计基线，这种主动策略优先解决全局不确定性，再逐步细化局部趋势。在多样化基准测试中，它仅用约10%的总训练预算，就能逼近全实验集拟合的精度，70%和7%的剪刀差在这里被显著压缩。

论文的盲区补救在于低预算条件下对目标高成本区域的针对性选择。过去大家默认均匀撒点或优先跑便宜实验就能覆盖全貌，但实际外推误差往往集中在真正值钱的规模区间。这篇工作不追求数据量的简单堆积，而是问一个更务实的问题：在有限预算内，哪些实验最能降低目标区域的预测不确定性。

很多从业者对Scaling Law的理解还停留在表面层面。大家都知道这些定律能帮助团队提前估算算力、数据和模型规模，避免盲目上大项目。但在落地时，先要跑一大堆试点来拟合曲线，这部分开支往往被低估成“常规预处理”。网友吐槽AI训练烧钱时，常把注意力放在最终训练成本上，却很少注意到试点阶段的异构成本问题：有些小模型实验跑得便宜，有些涉及长上下文或特殊硬件的就贵得多。主流观点的盲区在于，把实验设计当成简单的数据点采样，而非真正的预算分配决策。

“哪里有1元1分跑的快群”_哪里有1元1分跑的快群环球网论坛的结论，虽平实却直指核心议题。