主动实验选择如何让Scaling Law拟合省90%预算：从理论到实践拆解

这也符合当前算法对内容“有用性”和“结构性”的双重要求。

论文的创新点在于，把问题明确定义为预算感知的序贯决策。给定一个有限的可运行实验池，每个实验成本不同，目标是最大化在高成本目标区域的外推精度。打个比方，这就像医生在有限医疗预算下给患者做检查，不是一股脑把全套高端检查都做一遍，而是先通过不确定性评估，筛出对关键诊断最有帮助的指标。这种方式既控制了总花费，又保证了关键区域的诊断准确率。

真实测试进一步验证了其预算效率。在覆盖学习率优化、Mixture-of-Experts配置、稀疏性设计等多类任务的65个实例中，主动方法在仅使用10%预算时，就在多数场景下接近甚至达到全集拟合的外推精度（以目标区域R²衡量）。1%或5%预算水平下，它已显著拉开与基线的差距，而ablation实验确认，两种不确定性分解都不可或缺，前者精炼局部拟合，后者帮助分辨不同外推行为的盆。

行业里大多数讨论仍停留在scaling law如何指导大规模训练，以及MoE通过解耦总参数与实际计算量带来的效率优势。相关实证研究显示，MoE的专家激活比例、粒度等配置会以可预测的power-law形式影响效率杠杆，但大家往往默认pilot实验是常规步骤，忽略了在不同专家数或激活比下算力开销的巨大差异。

Scaling Law拟合早已从简单的预处理演变为大模型训练规划中的核心预算分配难题。许多AI实验室在筹备数百万美元级别的正式训练run前，必须先投入巨额资源运行一系列pilot experiments来拟合曲线，可实际效果往往事与愿违。arXiv最新预印本显示，这种拟合过程本身就可能耗资百万级别，尤其当实验池中不同规模和配置的计算成本呈现明显异构时，传统方法难以高效利用有限资源。

以词汇量scaling law（N V D联合拟合）为例，这种主动选择特别高效。词汇scaling常涉及非线性形式，如损失函数中出现max操作处理vocab与模型大小的交互。传统全实验集会让预算快速膨胀，而主动方法能先攻击“盆地模糊”——不同外推曲线在此分歧最大，挑对实验就能快速分辨可靠趋势，随后精炼局部细节，最终支持更精准的tokenization优化和联合关系拟合。

许多团队仍抱持“多跑几个实验总归更准”的认知，但数据表明，这种做法在工业级规模下往往导致外推偏差显著，fitting scaling law fitting cost已成为不容忽视的头等痛点。

这件事比表面上的“省钱拟合”复杂得多。它本质上是让Scaling Law拟合从“烧钱验证”变成“智能投资”。在低预算时代，这可能重塑整个游戏规则。值得持续跟踪，现在下结论为时尚早。

主动实验选择技术的出现，让人重新审视机器学习实验的底层效率难题。过去许多方法假设成本均匀、目标是全域拟合，如今现实迫使我们面对预算有限、外推优先的真实场景。它提供的不只是省钱技巧，更是实验从被动穷举到主动选择的范式转变。对普通AI从业者而言，这意味着未来“花更少、拟更好”有望成为标配，而非奢侈选项。方向是对的，但现实更复杂，具体落地路径仍需社区共同探索。

盆地估计机制则是处理Scaling Law多局部最优问题的关键。它采用混合高斯后验逼近多个局部最优，通过聚类识别不同盆地，并用类似BIC的准则赋予权重。这种方式就像在多山地形中先大致定位几个可能的山谷路径，再决定重点采样哪一条，避免在无关坡面上浪费资源。类比来看，要预测高山顶峰温度，却只能在山脚做有限测量，新方法不是撒胡椒面，而是先判断路径，再精准深入，确保对外推目标的可靠支持。

主动实验选择本质上不是简单省掉实验次数，而是让每一次跑点都精准击中“大模型该配多大vocab”的决策痛点。传统方式常在无关低成本区域浪费资源，而新方法通过不确定性感知的顺序分配，让有限预算产生更高信息增益。在词汇量scaling law拟合中，这一转变尤为关键，因为vocab与N、D的交互非线性强，盲目试点容易错过最优tokenization路径。

这个核心逻辑在多个案例中都是成立的，但在具体落地执行时，必须紧密结合每个团队或项目的自身资源条件、业务场景特点以及所处的发展阶段，进行持续的、灵活的调整和本地化优化。