机器学习实验设计新突破：主动实验选择如何帮你用10%预算拟合更好Scaling Law

重磅解读上下分1块1分跑的快群_马蜂窝这一话题的背后，是搜索引擎对把控节奏理解方式的演进。

表面上看，这套思路只是帮团队省预算。但实际比省钱复杂得多，尤其对正热衷MoE架构的团队而言。MoE虽带来明显的计算杠杆，配置空间却大幅扩张，pilot阶段的无效实验风险随之放大。如果实验池设计不佳或target区域定义偏差，外推结果仍可能误导后续决策。我的判断是，主动实验选择确实打开了新空间，但其效果高度依赖对MoE特有因素（如shared experts）的融合程度，这一点目前行业内仍有不同声音。

对普通AI从业者而言，这项进展意味着未来“花更少、拟更好”有望成为实验设计的标配。以前觉得预算浪费是行业 unavoidable 的成本，现在至少看到了一条清晰的优化路径。值得持续跟踪主动实验选择在更广ML场景的应用——比如多模态实验或强化学习环境探索，你所在的项目中，是否也面临类似实验资源分配的痛点？

Scaling Law 长期以来是大模型实验室规划百万美元级训练预算的核心依据，通过小规模 pilot 实验外推更大规模下的性能表现。但拟合这些 Scaling Law 本身往往需要大量实验，成本动辄百万级。arXiv 上刚刚上线的一篇论文提出了一种预算感知的主动实验选择方法，将拟合过程形式化为预算受限的序贯实验设计，在多个基准任务上仅用约 10% 的总训练预算，就接近了全集数据拟合的性能。

短期内，大模型研发团队能直接降低试点预算，加快迭代节奏，把更多资源投向高价值实验。长期来看，这类AI效率技术普及后，中小团队也有机会深度参与Scaling探索，而不被高昂的前期成本完全挡住。当然，如果配套代码仓库被社区快速集成到常用实验平台，落地会加速；否则，它可能先停留在学术验证阶段。值得持续跟踪，现在下结论为时尚早。

它将参数后验近似为多个局部最优盆的混合，并分解目标区域预测误差为intra-basin和inter-basin不确定性，从而计算每个候选的效用分数并除以成本，优先选择性价比最高的试点。

传统基线如随机选择、最便宜优先或经典D-opt、V-opt准则，往往忽略成本异质性，或仅关注参数不确定性，而非真正关心的目标区域外推。在低预算场景下，这些方法表现欠佳，尤其当Scaling Law景观存在多模态盆地时，容易陷入局部最优，无法有效分辨不同外推趋势对高规模预测的影响。数据支持这个观察，但样本量仍需更多验证。

多盆地现象的核心在于参数拟合的非唯一性。从不同初始化出发，同一个观测数据集可能收敛到多个局部最优参数集，这些“盆地”在已观测的低成本区间表现相似，却在未观测的高成本目标区域产生显著不同的外推曲线。这带来了弱可识别方向的歧义：团队难以判断哪个盆地真正能指导百万美元级训练决策。即便是花了大笔预算跑完所有 pilot，外推准确性仍可能受限于盆地间的分歧，而非单纯的样本不足。

这篇论文的核心发现直击行业痛点。过去，大多数从业者默认要可靠外推Scaling Law，就必须覆盖足够多不同规模的pilot实验，结果往往在正式训练前就烧掉一大笔预算。新方法把注意力转向“聪明选实验”而非盲目多跑。它在涵盖学习率与batch size缩放、领域混合、MoE专家混合等多个Scaling Law家族的任务上验证效果，显示低预算区针对高成本目标区域的主动分配，能显著提升外推精度。

AI实验室在规划数百万美元的大型AI模型训练时，试点实验集的组装往往成为预算分配的最大难题。arXiv上最新论文《Spend Less, Fit Better》指出，许多团队习惯随机或经典实验设计，却无法针对高成本目标区域（即未来大模型落脚的高算力区）进行优化。结果是，花了钱却得不到可靠的外推预测，导致后续大规模训练资源浪费甚至方向调整。

论文把这个问题重构为预算感知的序贯实验设计：在异构成本的候选实验池中，通过不确定性感知的分配机制，仅用约10%的总训练预算，就能接近全量实验的拟合精度，尤其在外推到高成本目标区域时表现突出。

我的判断是，未来一到两年内，筛选机制会进一步收紧，留下来的大概率是那些能把技术与业务深度融合的玩家。