深度学习-模型压缩（蒸馏剪枝量化）

PaddleDetection知识蒸馏
知识蒸馏主要是让让新模型（通常是一个参数量更少的模型）近似原模型(模型即函数)。注意到，在机器学习中，我们常常假定输入到输出有一个潜在的函数关系，这个函数是未知的：从头学习一个新模型就是从有限的数据中近

论文地址：
https://arxiv.org/abs/2103.14475
主要问题：
与图像分类不同的是，目标检测的知识蒸馏更加复杂，因为它往往具有具有多个损失函数，其中语义信息所依赖的特征纠缠在一起
此外其他的目标检测

论文地址：
https://arxiv.org/abs/2106.09018
代码地址：
https://github.com/microsoft/SoftTeacher
主要工作：
当前的半监督目标检测算法都需要多阶段的训练，例如在