前言

《Res2Net: A New Multi-scale Backbone Architecture》
论文地址：https://arxiv.org/pdf/1904.01169.pdf

面向视觉任务的多尺度表示对于目标检测、语义分割和显著目标检测任务具有重大意义。通过CNN新模块Res2Net，能够实现与比以往优秀的基于CNN backbone 的模型（如ResNet，ResNeXt）更好的性能表现。Res2Net：计算负载不增加，特征提取能力更强大

Res2Net module

集成Dimension cardinality和SE block

本文所提出的Res2Net模块可以融合到最先进的backbone CNN模型中，例如ResNet，ResNeXt。集成后的模型可称为Res2Net，Res2NeXt。

Res2NeXt和加入SE block具体实现方法如下图：

这里的分组卷积来替代ResNeXt的基数
CNN卷积神经网络之ResNeXt
CNN卷积神经网络之SENet

实验结果

图像分类：

w是通道数，s是支路数。可见增加模型复杂度带来更大的复杂度

目标检测：
分别在PASCAL VOC07和COCO数据集上，使用Faster R-CNN目标检测方法，以ResNet-50和Res2Net-50作为backbone，实验结果如下表所示：

更多实验结果：https://mmcheng.net/res2net/
代码和模型：https://github.com/Res2Net/Res2Net-PretrainedModels

Res2NetPlus

来源
Res2Net的官方实现在很多方面都是在一个较老的ResNet风格中实现的。因此，有人开始进行了升级：

• 使用Mish而不是ReLU进行激活。

• 将旧ResNet的主干，单一的7x7卷积更改为3x3卷积核堆叠的主干。

• 反转BN->激活的顺序，变成激活->BN。

“我们不应该把Batch Normalization放在ReLU之前，因为ReLU的非负响应会使权值层更新的方式不太理想……”。

代码：https://github.com/lessw2020/res2net-plus

• TIPs:
  Res2Net的最佳用法似乎集中在物体识别和分割类型的任务上。Res2Net喜欢高级数据增强，比如mix-up、CutMix等。你可以看到使用这些工具时验证损失会急剧下降，因此强烈建议使用Res2Net进行大量的数据增强。

缺点：
虽然Res2Net的计算复杂度与等效的ResNet相似，但它的运行速度仍然比对应的ResNet慢(20%似乎是平均水平)。

上一篇：CNN卷积神经网络之ResNeSt

版权声明：本文为CSDN博主「球场书生」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_41917697/article/details/122796332