预训练

好的预训练很关键

对比学习

同类型比赛的、更好的训练方法、对比学习（大规模模型，多用于大厂，主要是为了水下的能力，完全无监督）、更新的损失函数。
水下目标检测的数据集 做pretrain，学习在水下检测目标的能力。记忆的不是像素级特征，更高维度。
数据增强就是这个思想，让自己变还要保持这样的能力。

mae不通用

moco

增加内存，利用负样本

SimCLR

不容数据增强，利用MLP筛选最优

BYOL

一个view去预测同类的其他view，容易崩塌（GAN）。网络上半部分online，NES作为损失，NEA平均梯度。对比的方法，MLP不加BN。

CV也在做大模型

ssl、盘古

SimSiam

左侧编码器生成预测、另一边不用预测器直接计算。反过来再来一次。

自监督pretrain总结

BN使得信息泄露，一遍正例一边反例，这样有问题。得需要全局的shuffer。最好是两台机器，一个shuffer，一个保持。
MLP用于融合时过滤掉无用特征。
不同数据增强组合尝试、crop和color最好。

mixup

自动边缘分割 抠图粘贴处理边缘
贴图是不是可以重叠（考虑海星的分布）
多张目标图图像融合

双阈值策略

高低阈值

第一次高阈值过滤掉不含瑕疵，无目标肯定不要
第二次低阈值，再剩余样本上声称检测结果，
本地无目标图像测试看有没有误检，来调参阈值

版权声明：本文为CSDN博主「prinTao」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/prinTao/article/details/122653094