本文教的是方法，也给出几种改进方法，二次创新结构，百变不离其宗，一文带你改进自己模型，科研路上少走弯路。前言由于残差连接中的深度退化效应，许多依赖堆叠层进行信息交换的高效视觉Transformer模型往往无法形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，作者提出了一种聚合注意力（Aggregated Attention），这是一种基于仿生设计的token混合器，模拟了生物的中央凹视力和连续眼动，同时使特征图上的每个token都具有全局感知能力。此外，作者引入了可学习的token，这些token可以与传统的查询和键进行交互，从而在生成亲和矩阵时不仅仅依赖于查询和键之间的相似性。作者的方法不依赖于堆叠进行信息交换，从而有效避免了深度退化，实现了自然的视觉感知。此外，作者提出了卷积GLU（Convolutional GLU），这是一种通道混合器，填补了GLU和SE机制之间的空白，使每个token基于其最近邻的图像特征拥有通道注意力，从而增强了局部建模能力和模型的鲁棒性。作者结合聚合注意力和卷积GLU创建了一个新的视觉骨干网络，称为TransNeXt。理论介绍Convolutional GLU（卷积GLU） 是一种结合了通道注意力机制和最近邻图像特征的模块，用于增强局部建模能力和模型的鲁棒性。Convolutional GLU 的设计：GLU（Gated Linear Unit）在自然语言处理任务中表现优于多层感知器（MLP）。GLU 由两个线性投影组成，其中一个投影被激活函数门控。与 SE 机制不同，GLU 的门控信号来自于 token 本身，而不是全局平均池化。简单地在 GLU 的门控分支的激活函数之前添加一个最小形式的 3×3深度卷积，使其结构符合基于最近邻特征的门控通道注意力设计理，称这种方法为卷积GLU。在卷积GLU中，每个 token 都拥有基于其最近邻精细特征的独特门控信号，克服了 SE 机制中全局平均池化过于粗粒度的缺点。该设计还满足了一些不使用位置编码设计的 ViT 模型的需求，这些模型需要深度卷积提供的位置信息。Convolutional GLU 结构图如下（摘自论文）：理论详解可以参考链接：论文地址代码可在这个链接找到：代码地址训练代码参考和下载：手把手教你使用ConvNeXt训练自己数据集和推理，ConvNeXt模型训练（CVPR 2022），一个能挑战 Vision Transformer 的卷积神经网络，含完整代码和数据集文章目录前言理论介绍🐴一、实战细节⚡⚡实验结果画图⚡⚡改进模块代码⚡⚡使用教程☑️步骤1☑️步骤2☑️步骤3🐴二、模型结构分析⚡⚡ 注意机制结构分析⚡⚡ConvNeXt 结构分析☑️CNBlock 结构图⚡⚡二次创新实战☑️第一种改进手法📐模块的传参分析教程☑️第二种改进手法☑️第三种改进手法☑️第四种改进手法🐴三、论文常用的评估指标☑️准确率 (Accuracy, ACC)☑️精确率 (Precision)☑️召回率 (Recall)☑️F1分数 (F1 Score)总结🐴一、实战细节⚡⚡实验结果画图画图效果如下，代码可一键运行画图代码：# -*- coding: utf-8 -*-""" @Auth ：落花不写码 @File ：画图.py @IDE ：PyCharm @Motto :学习新思想，争做新青年 """importmatplotlib.pyplotaspltimportpandasaspd