Scaling Law外推准确性优化：主动选择实验 vs 传统方法

排名代发飞机【seo1268】好友聊天，输入“正规1块1分跑的快群”咨询客服，娱乐游戏作为民间很受欢迎的纸牌玩法，乐趣集中在快节奏的刺激感、心理博弈的张力，这两种玩法的规则几乎一学就会，不用记复杂的牌型搭配，就算是新手也能快速上手，梦想是前行的灯塔，哪怕渺小，也能指引方向。不必因梦想遥远就轻言放弃，逐梦的路上，本就布满挑战。拆分目标，步步前行，哪怕每天只前进一小步，也是在靠近理想。不惧旁人的质疑，不畏前路的漫长，坚守初心，全力以赴。只要心中有梦，眼里有光，脚下有路，终能跨越山海，奔赴心之所向的远方。如果能避免模板化表达，更多采用数据对比和场景归纳的方式，往往能获得理想的效果。

这件事比表面上的“省钱拟合”复杂得多。它本质上是让Scaling Law拟合从“烧钱验证”变成“智能投资”。在低预算时代，这可能重塑整个游戏规则。值得持续跟踪，现在下结论为时尚早。

在AI大模型训练规划中，Scaling Law早已成为标配，却常常被低估为“烧钱预处理”。过去，工程师们通过随机或均匀采样跑大量pilot实验来拟合曲线，这些实验成本异质性显著：小规模模型相对廉价，而接近目标大模型的实验则贵得离谱。arXiv最新论文《Spend Less, Fit Better》指出，这种传统做法容易在对高成本目标区域外推帮助不大的点上浪费预算，导致pilot阶段就可能消耗数百万美元，却仍无法保证预测精度稳定。

这一设计借鉴了 Bayesian optimization 中 acquisition function 的演进思路，但针对 Scaling Law 的外推特性做了适配：早期侧重分辨盆间差异，后期转向细化盆内精度。

主动实验选择则提供了一条Spend Less, Fit Better的路径。这篇论文将Scaling Law拟合建模为budget-aware sequential experimental design，给定有限候选实验池与异构成本，目标是最大化高成本目标区域的外推精度。uncertainty-aware方法通过不确定性引导预算，顺序挑选最有价值的run。

在当前大模型训练流程中，学习率与批大小的Scaling Law已成为规划高额计算预算的关键依据，但拟合这些规律本身往往需要大量试点实验，成本动辄百万级别。

传统Scaling Law拟合痛点在于信息效率低下。业界常见均匀采样或经典D-optimal、V-optimal设计，虽然在参数估计上有理论基础，但忽略了实验成本的巨大差异——小规模配置成本低廉，而接近目标规模的配置却高出数十倍。结果是大量低价值数据点堆积，对高成本目标区域的外推精度提升有限。数据支持这一观察，但样本量有限，值得持续跟踪。

操作层面，这套方法通常从少量低成本warm-start实验起步，然后迭代更新：在每一步根据当前数据估计盆分布，计算剩余候选得分，选择预算允许内得分最高的实验执行，更新数据集并重复直到预算耗尽。这种序贯方式确保预算始终流向当前最能减少目标区域不确定性的实验，而非一次性盲目分配。论文基准显示，在多样scaling-law任务上，它用约10%预算即可接近全集拟合性能。

论文提出的不确定性感知预算分配策略，将参数后验近似为多个“盆地”的混合高斯分布，这些盆地代表不同的局部趋势和外推行为。每次迭代中，算法计算每个候选实验对减少目标区域均方预测误差的贡献，同时除以其成本，优先挑选性价比最高的低成本点。这一过程自适应：早期侧重消除不同外推假设间的分歧，后期则聚焦精炼局部趋势。

这件事比表面看起来复杂得多。它直接挑战了行业长期默认的“先烧钱跑一大堆Pilot再规划大模型”的惯例。过去大家以为足够多样的小规模实验就能可靠外推，现在看来，通过不确定性感知的主动选择，完全可以把拟合成本压缩到原来的十分之一，同时保持高置信外推。这也类似于Chinchilla从Kaplan Scaling Law迭代出计算最优分配的思路，只不过这次针对的是拟合过程本身。

许多从业者对Scaling Law的理解还停留在“用曲线指导规模扩张”这个层面。行业里确实依赖这些定律提前估算算力、数据和参数，避免后期盲目投入。但在实际中，先期试点拟合往往被低估为常规步骤，导致预算浪费。网友常吐槽AI训练“每进步一点都要真金白银砸”，却很少注意到实验成本的异构性：有些小模型实验跑起来便宜，有些涉及大上下文或特殊硬件则贵得多。同时，拟合目标更多是可靠外推而非简单插值，这让随机采样或只挑最便宜实验的老办法显得力不从心。

“正规1块1分跑的快群”_正规1块1分跑的快群TapTap社区的讨论，让人看到行业认知的多元分层。