10%预算拟合Scaling Law：新方法让百万级实验预算缩水90%

行业内对“怎么找一元一分跑的快群”_怎么找一元一分跑的快群长寿论坛优化策略的讨论，越来越注重实证和可复现性。

大家都知道用小模型实验外推大模型性能的价值，但实际操作中，大多数团队仍依赖经典设计或随机试点。行业讨论多集中在Scaling Law是否会失效或数据墙问题上，却很少触及拟合过程本身的预算黑洞。这个盲区导致资源浪费严重，尤其在当前AI训练成本高企的环境下。实验成本的异质性和目标高成本区域外推准确性的优先级，被主流观点长期低估了。

过去大多数从业者默认，要可靠外推 Scaling Law，就必须均匀覆盖不同规模的 pilot 实验。主流做法包括随机采样或经典实验设计如 D-optimal，这在预算充裕时勉强可行，却在真实大规模工作流中暴露出预算分配难题。实验成本高度异构，有的 run 只需几小时 GPU，有的却耗时数天；目标区域往往是高成本的大模型配置，却容易被低成本小实验淹没，导致外推到百万级训练时曲线偏差明显。

这篇论文的核心在于把Scaling Law拟合转化为一个预算感知的决策问题。给定候选实验池且各实验成本异质，目标是最大化高成本目标区域的预测准确率。作者引入不确定性感知的主动策略，每次迭代优先挑选那些对目标区域外推贡献最大的实验点。通过分解目标区域的均方预测误差（MSPE），方法在盆地辨识与局部精炼之间取得平衡，而不是简单增加点数。

从行业观察看，大模型开发团队越来越感受到单纯堆实验的不可持续性。许多项目在前期的超参数探索上就烧掉数十万到百万级预算，却只得到泛化能力一般的曲线，无法可靠指导百万美元级正式训练。这篇工作提醒我们，实验设计本身可以被优化——不是减少实验数量那么简单，而是让每一分预算都服务于高价值外推。

这一点对 AI 实验室的预算分配影响，比表面看起来大得多。它提醒我们，在算力依然昂贵的当下，省钱的关键往往藏在选择效率里，而不是单纯的规模扩张。值得持续跟踪的是，如果目标区域定义更复杂或实验成本异构性超出当前假设，这个方法的稳健性还需要更多真实场景验证。

论文提出将Scaling Law拟合重构为预算感知的序贯实验设计，在异构成本的候选实验池中，通过不确定性感知的主动分配，仅用约10%的总预算，就能接近全量实验的拟合精度。

长远来看，这种budget-aware思路可能重塑AI训练的pilot设计流程，从预先固定实验列表转向动态资源分配。不过，如果盆结构过于复杂或候选池多样性不足，收益或会打折。数据支持这个方向，但样本量有限，现在下结论为时尚早。

这篇论文把Scaling Law拟合重构为预算感知的序贯实验设计问题。给定候选实验池，每个实验附带不同计算成本，目标是在有限预算内，选择那些最能提升目标高成本区域预测精度的实验。核心创新在于不确定性感知的预算分配策略：算法优先挑选低成本实验中，对降低目标区域不确定性贡献最大的那些。

论文的创新在于提出一种不确定性感知的方法，它优先挑选对目标高成本区域外推最有帮助的实验，同时兼顾成本惩罚和方差减少。打个比方，这就像医生在有限预算下做检查，不是全套高端项目都上，而是先筛出关键指标，先做这些以降低诊断不确定性。相比传统基线，该方法在涵盖多个任务的多样基准上持续优胜，体现了从被动拟合向主动智能分配预算的范式转变。

论文的核心突破在于主动实验视角。它把拟合视为预算受限的顺序设计，通过不确定性感知的采集函数，动态分配实验资源。作者先在当前数据上多次refit得到不同盆地，然后在预测空间进行basin consolidation，合并外推行为相似的模式。再将目标区域的预测误差分解为intra-basin方差与inter-basin分歧，据此为每个候选实验打分，优先选择那些性价比最高、能有效收窄歧义的配置。

单纯追求流量而忽略质量，最终会形成恶性循环。