异构实验成本下，Scaling Law拟合如何用10%预算实现接近全集效果？

想玩一元一分红中麻将群搜索结果的排序逻辑，正越来越重视内容的“帮助度”。

传统方法的最大盲区在于，忽略了实验成本的异质性，也没有针对性地优化对高成本目标区域的预测准确性。小模型实验便宜，大模型贵得离谱，随机采样容易把预算浪费在对最终外推帮助不大的点上。结果就是前期烧钱严重，后续大模型训练规划却缺乏可靠依据。

传统方法的问题在于缺乏针对目标区域的针对性。随机选择、最便宜优先或D-opt、V-opt等最优设计准则，要么忽略实验成本差异，要么只关注参数不确定性，而非真正关心的目标区域预测误差。论文指出，当Scaling Law景观存在多模态时，这些基线容易陷入局部最优，无法有效分辨不同盆地对高规模外推的影响。70%和7%的对比数据再次说明，盲目积累数据点并不等于有效信息。

作者团队将参数后验近似为多个“盆地”的混合高斯分布，这些盆地捕捉不同的局部最优和外推行为。每次迭代时，算法计算每个候选实验对目标区域均方预测误差降低的贡献，再除以其成本，选出性价比最高的。早期侧重消除不同外推假设间的分歧，后期则聚焦精炼局部趋势。这种自适应选择，让预算真正用在刀刃上。

这个思路类似主动学习在标注成本高时的样本选择策略。你不是盲目多跑实验，而是聪明地挑选最有价值的那些，让每一美元预算都精准服务于大模型外推的准确性。不是少跑实验，而是让每一次实验都击中要害。

Scaling Law 长期以来是大模型训练规划的核心工具，用于预测百万美元级预训练在不同规模下的表现。然而，拟合这些定律本身往往需要运行大量 pilot 实验，成本可能轻松达到数百万美元级别，尤其当实验池包含不同计算规模时，随机或均匀采样容易导致预算快速消耗，却难以保证对外推到高成本目标区域的精度。

当然，主动设计的收益也存在边界。当目标区域成本极高或实验池异质性强时，区分多盆地的价值更明显；反之在简单任务或预算宽裕场景下，收益需结合具体微调。弱可识别方向的处理依赖合理近似，目前样本量有限，值得持续跟踪观察其在极端非线性情况下的稳健性。

论文的核心贡献在于把Scaling Law拟合转化为预算感知的序贯实验设计问题。给定有限候选实验池且成本异质，目标是最大化高成本目标区域的预测准确性。作者提出不确定性感知的主动选择策略，每次迭代优先挑选对目标区域外推信息量最大的实验点，而非盲目增加点数。这个框架本质上平衡了全局盆地辨识与局部精炼，区别于传统只优化参数估计精度的做法。

核心是通过uncertainty-aware机制，将参数后验近似为多个局部最优盆的混合高斯，并分解目标区域预测误差为intra-basin和inter-basin不确定性。计算每个候选的效用分数并除以成本归一化后，优先挑选性价比最高的试点。

论文提出了一种不确定性感知的主动选择方法。这种方法优先挑选能最大化目标高成本区域外推准确性的实验，而非简单降低整体预测误差。核心技巧是用混合高斯近似建模参数拟合的不确定性，将其分解成不同“盆地”——这些盆地代表不同的外推趋势。早期阶段重点解决全局“盆地模糊”，后期则精炼局部相关趋势。

从场景来看，一个中等规模AI团队为下一个百亿参数模型做pilot规划时，传统方式可能需要分配30%-50%的早期预算给Scaling Law拟合。现在有了不确定性感知方法，他们可以在pilot阶段就把这部分预算压到原来的十分之一左右，省下来的资源直接投到模型迭代或数据清洗上。短期内，这为AI实验室提供了即插即用的降本工具；长期看，它可能推动行业从“烧钱试错”转向“预算高效外推”。

想玩一元一分红中麻将群的实战效果，远没有宣传中那么线性。