目录
1. SimAM轻量级注意力机制
2. SwinTransformer + SimAM
3. 完整代码
Tips:融入模块后的网络经过测试,可以直接使用,设置好输入和输出的图片维度即可
1. SimAM轻量级注意力机制
SimAM(Simple Attention Mechanism)是一种轻量级的注意力机制,旨在通过简单的计算增强神经网络的特征表示能力。它通过自适应地调整特征图中每个位置的重要性,从而提升模型的性能。SimAM 的核心思想是通过计算特征图中每个位置的能量值,来衡量该位置的重要性,并据此进行特征增强。
SimAM 的主要特点