一句话讲清楚Stanford和Patronus AI的团队做了一件之前没人系统做过的事研究预训练数据和检索数据之间怎么分配最划算。他们从30M到3B参数训练了OLMo-2模型提出三维Scaling Law框架。结论很直接——固定数据预算下有个交叉点约4.14 tokens/parameter过了这个点检索可以替代预训练而且小模型吃到的红利最大。研究背景Scaling Laws没覆盖到的地方Kaplan等人在2020年提出Scaling Laws缩放定律后这套框架一直指导着语言模型训练。它告诉我们模型性能会随着参数量和训练token数的增加而可预测地提升。Chinchilla进一步证明计算最优的训练需要同时扩展模型规模和数据规模。但现有的Scaling Laws有个明显的盲区它们把训练语料当成一个整体默认所有数据都应该塞进模型权重里。RAG检索增强生成改变了这个前提。它引入了一个新的自由度——语料的一部分可以存在外部推理时再取出来用。这两种方式的计算成本、归纳偏置和失败模式完全不同预训练把知识存在模型权重里参数化训练贵推理时没有额外开销检索把知识存在外部索引里非参数化训练几乎不花钱推理时有检索开销所以问题来了给定N个token的固定语料预训练数据和检索存储之间怎么分这是个资源分配问题。之前有不少工作把检索整合到语言模型里但没人系统地回答过预训练期间多少数据该分给权重多少该分给检索。固定数据预算下预训练与检索的权衡。左图研究者在DCLM数据上训练30M到3B参数的OLMo-2模型同时从同一语料的保留部分构建检索存储。中图将问题概念化为二维分配空间的优化问题。右图在固定预训练规模下检索分配的比例与性能呈现非单调关系且存在规模依赖性——小模型获益最大大模型则出现边际效益递减。实验设置从30M到3B的全尺度研究模型与数据研究团队选了OLMo-2系列定义了6个模型规模模型规模层数隐藏维度注意力头数30M82564136M85128233M1664010728M181280101B241408113B26256020预训练语料用100B token的DCLM数据集。所有模型用AdamW优化器峰值学习率3×10⁻⁴warmup-stable-decayWSD学习率调度。检索索引构建检索索引从DCLM的保留部分构建用FAISS库。几个关键设计嵌入模型4个候选里选了Qwen3-Embedding-8B召回率最高索引算法IVFPQ倒排文件乘积量化分块策略900 token块长256 token步长约28%重叠分词器TikToken cl100k_base检索语料规模从1B到20B token不等。所有不同规模的索引来自同一随机排列的前缀——小预算索引是大预算索引的严格子集这样规模比较才可控。评估协议用RAG-Evaluation-Harness框架覆盖多个benchmark推理类AI2-ARCEasy和Challenge、HellaSwag、PIQA、StrategyQA科学QAOpenBookQA、SciQ开放域QANatural Questions、SimpleQA常识QACommonsenseQA检索统一设top-5 passages检索器在所有评估中冻结共享隔离检索规模的影响。评估指标用的是困惑度Perplexity, PPL不是传统的准确率accuracy。原因很简单准确率在模型改进时经常阶梯式跳动——小的似然改善不一定改变预测标签导致平坦区域后突然跳跃会掩盖底层的Scaling趋势。困惑度提供连续的、长度归一化的度量拟合Scaling Laws更合适。参数化Scaling Baselines验证实验设置引入检索之前研究团队先建立了无检索R0的参数化Scaling基线确认实验设置能复现经典的Scaling Law行为。用经典的幂律形式建模损失其中是模型参数量是预训练token数捕捉模型规模的缩放效应捕捉数据规模的缩放效应是不可约损失下限无RAG的参数化Scaling基线。左图跨模型规模和数据预算的经验测量叠加幂律模型的等损失轮廓线。右图Scaling表面的等计算切片显示预测损失随模型规模的变化。拟合结果和先前文献报告的Scaling指数基本一致实验设置没问题。三维Scaling Laws引入检索维度对数形式的检索Scaling Law在2D参数化定律基础上加一个检索维度用对数增益项其中是检索/token数控制检索增益和饱和速率越大检索带来的最大收益越大越大随着增长收益实现得越快作为对比研究也试了幂律形式的检索项结果是对数形式给出的检索速率参数更稳定、更好解释所以主分析用对数形式幂律形式做补充验证。拟合质量三维Scaling Law在大多数benchmark上拟合不错。交叉验证平均相对误差CV ARE较低留一模型误差LOMO通常更高——内插比外推到未见过的模型规模容易。推理密集型任务PIQA和StrategyQA稳定性差一些误差更大说明这些任务本身的Scaling行为噪声就大。检索速率参数呈现两种模式某些任务适中约10⁻³到2检索增益渐进另一些任务接近优化上限接近10在观察到的检索范围内快速饱和预训练-检索权衡曲线核心发现替代性分析Substitutability研究定义了一个关键指标——替代成本σ每个检索token能替代多少预训练token其中是把RAG配置下的损失投影到无检索的Scaling曲线上得到的等效预训练预算。预训练与检索的替代性分析。左图通过拟合Scaling Laws计算每个预训练规模下匹配无检索基线性能所需的检索量量化检索对预训练的替代能力。虚线为跨所有模型规模的线性最佳拟合线。右图测量检索的边际效益即每十亿检索token带来的困惑度改善越高越好。发现一个清晰的交叉行为。低数据regime下检索替代不了预训练。但预训练规模超过阈值——约4.14 Tokens Per Parameter最佳拟合线估计——检索开始变高效每个检索token能替代多个预训练token。这个regime下收益近似对数线性增长。边际效益分析Marginal Benefit边际效益定义为单位检索数据带来的损失减少其中越高越好。小模型从检索中获益最大。30M参数模型的边际效益最高每单位检索数据带来明显的困惑度改善。模型规模增大边际效益递减到3B参数时基本饱和。也就是说大模型规模下检索虽然仍是预训练的有效替代方案但绝对改善随着模型趋于饱和而减少。规模依赖的权衡预训练和检索之间存在规模依赖的权衡。检索在欠训练和小模型regime下最有效能强力替代预训练。模型规模和预训练量增加后边际效用递减——从检索主导regime过渡到预训练主导regime。RAG改进检索质量的影响研究团队比较了三种查询构建策略RAG (Query)仅用问题检索RAG (Query Choices)问题答案选项多选题适用RAG (Query Gold)问题标准答案Oracle式消融近似最优检索上界SimpleQA上不同检索查询构建策略的性能对比。左图OLMo-2 136M模型。右图OLMo-2 1B模型。Baseline为无检索的标准生成。结果知识密集型任务SimpleQA、CommonsenseQA上检索有适度增益查询和答案对齐越好增益越明显改进随模型规模增大而增加推理密集型任务GSM8K数学推理、LAMBADA词预测上检索几乎没变化GSM8K和CommonsenseQA上不同检索查询构建策略的效果。两个面板都显示OLMo-2 1B模型随每参数预训练token数的变化。LAMBADA上不同检索查询构建策略的效果。左图OLMo-2 136M。右图OLMo-2 1B。结论和前面一致检索不是预训练的均匀替代方案有效性同时取决于模型规模和任务类型。稳定性分析为验证Scaling Law拟合的稳健性研究团队评估了多个随机种子和模型初始化。三个模型家族30M、136M、233M各三个随机种子共27次运行。跨随机种子的Scaling Law拟合稳定性。报告27次独立拟合3个模型家族×3个种子的交叉验证ARE和留一模型ARE的均值与标准差。大多数任务的CV ARE和LOMO ARE方差低拟合的Scaling关系对初始化和数据排序稳定。推理密集型任务PIQA、StrategyQA方差较高Scaling行为噪声更大。校准曲线研究团队提供了多个benchmark的校准曲线展示不同预训练和检索配置下模型的置信度校准情况。ARC Challenge校准曲线。ARC Easy校准曲线。HellaSwag校准曲线。SciQ校准曲线。CommonsenseQA校准曲线。OpenBookQA校准曲线。讨论与启示对语言模型设计的实践指导这项研究说清楚了一件事预训练和检索不是独立的设计选择而是同一数据预算下的两种竞争机制。实际的语言模型系统设计小模型/低数据regime检索是最有效的知识增强手段能替代大量预训练大模型/高数据regime检索边际效益递减但仍是预训练的有效替代知识密集型任务检索收益比推理密集型任务高得多检索质量重要更好的查询构建和检索策略能进一步提升收益但不会消除对参数化容量的需求学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】