模型剪枝专栏目录

01 模型剪枝是什么为什么深度模型需要剪枝博文链接02 Optimal Brain Damage 详解二阶信息剪枝的起点。博文链接03 03 Optimal Brain Surgeon 详解Hessian 剪枝为什么有效博文链接04 LeCun 时代的剪枝思想从冗余参数到敏感度。博文链接编号文章标题代表论文/方法11Optimal Brain Damage 详解二阶信息剪枝的起点OBD12Optimal Brain Surgeon 详解Hessian 剪枝为什么有效OBS13LeCun 时代的剪枝思想从冗余参数到敏感度早期理论14Han 剪枝方法详解Learning both Weights and Connections权重剪枝15Deep Compression 详解剪枝、量化和 Huffman 编码如何协同Han et al.16权重幅值剪枝为什么有效Magnitude Pruning 原理分析L1/L2 magnitude17剪枝后的微调为什么重要恢复精度的基本机制retraining18稀疏网络能否从头训练剪枝与训练初始化的关系sparse training19Lottery Ticket Hypothesis 详解稀疏子网络为何能中奖Lottery Ticket20从经典剪枝看现代大模型剪枝哪些思想仍然有效总结篇编号文章标题核心内容21非结构化剪枝详解为什么它压缩率高但不一定加速sparse weights22全局幅值剪枝代码实战用 PyTorch 剪掉最小权重实战23层内剪枝与全局剪枝对比哪个更合理策略比较24稀疏正则化剪枝L1 正则如何诱导参数变稀疏regularization25动态稀疏训练 DST边训练边剪枝边生长sparse training26SNIP 详解训练前一次性剪枝如何实现SNIP27GraSP 详解保持梯度流的训练前剪枝GraSP28SynFlow 详解无需数据的剪枝方法data-free pruning29Movement Pruning 详解为什么适合 BERT 微调NLP 剪枝30非结构化剪枝的硬件难题稀疏矩阵为什么不一定快部署分析编号文章标题核心内容31结构化剪枝是什么为什么它更适合真实部署channel/filter/layer32通道剪枝 Channel Pruning 详解CNN 通道33卷积核剪枝 Filter Pruning 详解filter pruning34层剪枝 Layer Pruning 详解什么时候可以删除整层layer pruning35BN 缩放因子剪枝Network Slimming 原理详解BN gamma36ThiNet 详解基于下一层重构误差的通道剪枝reconstruction37CP 详解Channel Pruning for Accelerating Very Deep Neural Networks经典方法38SSS 详解稀疏结构选择如何实现自动通道剪枝sparsity scaling39AMC 详解强化学习如何自动决定每层剪枝率AutoML pruning40MetaPruning 详解用元网络生成剪枝结构meta learning41结构化剪枝的残差连接问题ResNet 为什么不好剪shortcut 对齐42结构化剪枝代码实战剪 ResNet 的通道并真实加速PyTorch 实战编号文章标题核心内容43剪枝中的重要性评分到底在衡量什么score 本质44基于权重幅值的重要性评分magnitude45基于梯度的一阶重要性评分gradient46Taylor 剪枝详解一阶泰勒展开如何评估损失变化Taylor47Hessian 剪枝详解二阶信息为什么更准确second-order48Fisher 信息剪枝从概率视角理解参数重要性Fisher49激活值统计剪枝用输入数据判断通道贡献activation50重构误差剪枝剪枝后如何让特征图尽量不变reconstruction51敏感度分析剪枝不同层为什么不能剪同样比例layer sensitivity52冗余感知剪枝重要性与冗余性如何同时考虑可引出 RASS-ViT编号文章标题核心内容53VGG 剪枝实战最适合入门的结构化剪枝案例VGG54ResNet 剪枝实战残差结构如何保持维度一致ResNet55DenseNet 剪枝实战密集连接带来的剪枝难点DenseNet56MobileNet 剪枝是否有意义轻量模型还能再剪吗MobileNet57YOLO 剪枝实战目标检测模型如何压缩detection58语义分割模型剪枝Encoder-Decoder 结构怎么剪segmentation59剪枝前后特征图可视化模型到底失去了什么visualization60剪枝实验如何写得规范表格、曲线和消融实验设计论文写法61PyTorch 官方 Pruning 工具详解torch.nn.utils.prune62手写一个通道剪枝框架从 mask 到模型重构工程实现编号文章标题核心内容63Transformer 为什么难剪枝Attention、MLP 与残差结构分析Transformer64注意力头剪枝 Head Pruning 详解attention head65BERT 剪枝综述从权重剪枝到结构化剪枝BERT66LayerDrop 详解能不能直接删除 Transformer 层layer dropping67BERT-of-Theseus 详解用模块替换压缩 BERTmodule replacing68Movement Pruning 在 BERT 上的应用详解movement pruning69Adapting by Pruning剪枝能否替代微调BERT adaptation70Transformer MLP 剪枝FFN 神经元冗余如何度量FFN pruning71多头注意力真的都重要吗注意力头冗余分析redundancy72Transformer 剪枝后的蒸馏为什么通常需要 Teacherpruning KD编号文章标题核心内容73ViT 为什么需要剪枝Token 数量、注意力复杂度与部署瓶颈ViT74ViT 剪枝对象总结Token、Head、MLP、Block、Embeddingtaxonomy75Token Pruning 详解为什么删 Token 可以降低注意力计算token pruning76DynamicViT 详解动态 Token 剪枝如何实现DynamicViT77Evo-ViT 详解Slow-Fast Token Evolution 如何加速 ViTEvo-ViT78EViT 详解Token Reorganization 与推理加速EViT79A-ViT 详解自适应计算时间与动态推理adaptive inference80ViT 注意力头剪枝哪些 Head 可以删除head pruning81ViT MLP 通道剪枝FFN 层为什么冗余严重MLP pruning82ViT Block 剪枝能否直接删除 Transformer Blockdepth pruning83ViT 剪枝与知识蒸馏DeiT 给剪枝带来的启发KD84RASS-ViT 方法解读冗余感知敏感度评分如何实现免重训练弹性剪枝你的论文专题编号文章标题核心内容85大语言模型为什么需要剪枝显存、推理延迟与部署成本LLM86LLM 剪枝综述非结构化、半结构化与结构化剪枝taxonomy87SparseGPT 详解二阶近似如何实现大模型一次性剪枝SparseGPT88Wanda 详解无需重训练的大语言模型剪枝方法Wanda89Wanda 为什么快权重幅值与激活范数的结合activation-aware90LLM-Pruner 详解结构化剪枝如何删除大模型组件LLM-Pruner91LoRAPrune 详解低秩适配与剪枝如何结合LoRA pruning92大模型剪枝后的困惑度评估PPL 到底说明什么evaluation93LLM 剪枝后的下游任务评估MMLU、GSM8K、HumanEvalbenchmark94大模型剪枝与量化如何协同先剪枝还是先量化pruning quant95大模型剪枝与蒸馏如何协同Teacher 如何补偿性能pruning KD96LLaMA 剪枝实战路线从 7B 到更小模型的压缩流程practice编号文章标题核心内容97剪枝模型如何真正部署PyTorch、ONNX、TensorRT 流程deployment98为什么 FLOPs 降了但速度没变快剪枝部署中的常见坑latency gap99CPU、GPU、NPU 上剪枝模型加速差异分析hardware100结构化剪枝与硬件友好设计为什么规则稀疏更重要hardware-aware101剪枝与量化联合压缩实战从 FP32 到 INT8pruning quant102剪枝与知识蒸馏联合实战小模型如何恢复精度pruning KD103剪枝论文如何阅读从方法、公式、实验到消融paper reading104剪枝论文实验表格怎么看Params、FLOPs、Latency、Top-1experiment105如何复现一篇剪枝论文代码、数据集、超参数和日志reproduction106模型剪枝未来趋势大模型、动态剪枝、硬件协同与免重训练总结展望