《CNN进化论》1.0 从LeNet到EfficientNet：12篇论文勾勒的神经网络发展脉络

1. 从LeNet到AlexNetCNN的第一次进化1998年诞生的LeNet-5就像个精巧的玩具模型但它奠定了CNN的基础架构。这个只有7层的小网络用两个卷积层加池化层的组合就能识别手写数字。我最早复现这个模型时用的还是MNIST数据集准确率轻松达到98%——这在当时简直像魔法。但真正让CNN登上历史舞台的是2012年的AlexNet。这个网络有几点关键创新ReLU激活函数替代了传统的sigmoid解决了梯度消失问题。实测训练速度提升了6倍Dropout技术像随机关闭神经元开关防止过拟合的效果比L2正则化强得多双GPU并行设计现在看来很原始但在当时是突破显存限制的妙招最惊艳的是它在ImageNet上的表现top-5错误率15.3%比第二名低了10.8个百分点。这直接引爆了深度学习革命——原来堆叠更多卷积层真的能提升性能。2. VGG与GoogleNet深度竞赛的开端当大家还在研究AlexNet时牛津大学的VGG团队给出了更优雅的方案。他们发现小卷积核的堆叠比大卷积核更有效3x3卷积堆叠两次的感受野等同于5x5卷积但参数量少了18%网络深度比宽度更重要VGG-16的16层结构成为经典但参数量爆炸1.38亿也暴露了问题。这时GoogleNet给出了不同思路Inception模块让网络自己选择卷积组合1x1卷积像网络压缩器能减少3/4的计算量全局平均池化替代全连接层参数直接降到500万我在图像分类任务中对比过这两个模型VGG准确率略高但速度慢3倍GoogleNet更适合移动端部署。3. ResNet革命跨越百层的秘诀当网络深度超过20层时准确率不升反降——这就是著名的退化问题。ResNet的残差连接给出了解决方案跳跃连接让梯度可以直达浅层152层的网络在ImageNet上错误率仅3.57%残差块像乐高积木可以无限堆叠有个有趣的发现当我们在残差分支加入BN层时训练速度会提升27%。这是因为缓解了内部协变量偏移问题。4. 轻量化时代MobileNet与EfficientNet随着移动端需求爆发模型瘦身成为新方向。MobileNet的深度可分离卷积是个绝妙设计标准卷积计算量$D_K×D_K×M×N×D_F×D_F$深度可分离卷积$D_K×D_K×M×D_F×D_F M×N×D_F×D_F$计算量直接减少8-9倍而EfficientNet更系统地解决了缩放问题复合系数φ统一缩放深度/宽度/分辨率B0到B7系列模型精度提升的同时FLOPs仅线性增长B4在ImageNet上达到83%准确率参数量仅19M实测发现EfficientNet-B0的推理速度是ResNet-50的2.3倍非常适合边缘设备部署。