196、自注意力机制优化：SwinIR的窗口注意力与DAT的变形注意力对比从一次训练崩溃说起上个月调一个4倍超分模型，白天跑得好好的，晚上回来发现loss炸了——从0.003直接跳到NaN。查日志发现是显存溢出后强行恢复训练导致的。但真正让我警觉的是，同样的batch size，SwinIR能跑，换成DAT就炸了。这让我重新审视这两种注意力机制的本质差异。先说结论：窗口注意力是“划地为牢”，变形注意力是“随波逐流”。前者稳定但视野受限，后者灵活但容易失控。SwinIR的窗口注意力：为什么它能成为基线SwinIR的核心思路很简单：把特征图切成不重叠的窗口，每个窗口内部做自注意力。这里有个关键设计——窗口偏移。别小看这个操作，它解决了窗口间信息隔离的问题。# 窗口划分，这里踩过坑：窗口大小必须是特征图尺寸的因数# 否则会多出padding，影响重建质量defwindow_partition(x