【AI大模型进阶】学习率（Learning Rate）调参玄学：大了不收敛，小了动不了

【AI大模型进阶】学习率（Learning Rate）调参玄学：大了不收敛，小了动不了这是【AI大模型进阶】系列第七十三课，是继 Batch Size 之后，模型训练最核心、最关键、最能决定成败的第二大超参数必修课。上一节课我们彻底搞懂了 Batch Size（批次大小），明白了如何压榨GPU算力、平衡训练速度与模型泛化能力。很多同学实操后会发现一个诡异问题：明明Batch大小调得没问题、模型结构没错、数据没问题，可模型就是训不动、收敛极慢、Loss来回震荡，甚至越训越差。99%的这类训练翻车问题，根源只有一个——学习率（Learning Rate，LR）设置不当。在深度学习和大模型微调领域，学习率一直被新手称为“调参玄学”：调大一点直接震荡不收敛、Loss爆炸；调小一点模型彻底僵死、几千轮训练毫无变化。很多人训练模型全靠蒙参数、反复试错，浪费大量算力和时间。本节课彻底破除学习率的玄学面纱，不用复杂数学公式，用大白话+生活化类比+对照实验代码，从零讲透学习率的底层逻辑、大小利弊、适配场景、科学调参方法、动态优化策略。学完本节课，你彻底告别盲目调参，精准拿捏模型训练节奏，让模型又快又稳收敛。一、零基础秒懂：学习率到底是什么？我们延续系列一贯的通俗类比，结合之前的下山优化模型和学生刷题模型，一次性彻底理解学习率的核心作用。1、生活化核心类比前文我们讲过：模型训练就是梯度下山找最低点，误差Loss是山坡高度