文章目录[隐藏]
知识蒸馏主要是让让新模型（通常是一个参数量更少的模型）近似原模型(模型即函数)。注意到，在机器学习中，我们常常假定输入到输出有一个潜在的函数关系，这个函数是未知的：从头学习一个新模型就是从有限的数据中近似一个未知的函数。如果让新模型近似原模型，因为原模型的函数是已知的，我们可以使用很多非训练集内的伪数据来训练新模型。
原来我们需要让新模型的softmax分布与真实标签匹配，现在只需要让新模型与原模型在给定输入下的softmax分布匹配了。但是
版权声明：本文为CSDN博主「BIT可达鸭」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44936889/article/details/116301520
2016.Spatio-Temporal LSTM with Trust Gates for 3D Human Action Recognition（基于Trust Gates的瞬时时空LSTM三维人体动作识别） 创
代码：https://github.com/google/automl/tree/ master/efficientdet. 摘要：提出了提高效率的几个关键优化 提出了一种加权的双向特征金字塔网络，它
论文地址： https://arxiv.org/abs/2103.14475 主要问题： 与图像分类不同的是，目标检测的知识蒸馏更加复杂，因为它往往具有具有多个损失函数，其中语义信息所依赖的特征纠缠在一起 此外其他的目标检测
关注并星标从此不迷路计算机视觉研究院公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：SmartDet：https://arxiv.org/pdf/22
暂无评论