本文来自ICASSP2021论文《SALIENCY-DRIVEN VERSATILE VIDEO CODING FOR NEURAL OBJECT DETECTION 》
论文基于VVC提出了面向显著性的编码框架用于处理机器任务。为了在编码前获取显著性区域,论文使用YOLO进行目标检测。为了验证编码对于机器处理的效果,论文对解码图像使用Mask R-CNN进行目标分割。实验显示,使用本文算法在同样检测准确率下可以节省29%的码率。
越来越多的视频不是面向人眼观看而是面向机器处理任务,通过计算机视觉方法来分析视频。MPEG特别成立了VCM(Video Coding for Machines)来进行面向机器的编码。如Fig.1所示,使用自适应量化QPA对包含目标的区域采用较小的QP,不包含目标的区域采用较大的QP。
显著性检测
在本文的VCM框架中可以使用任何显著性检测算法来检测显著性区域,本文最终选择了YOLO。YOLO会返回每帧图像的各个物体类别及bounding box。通过非极大抑制NMS对bounding box进行调整,NMS阈值取0.1。且IOU阈值取0.5,使得相互重叠的bounding box只有置信度最高的保留。最终保留的bounding box组成了显著性区域S。
由于VVC是以CTU为单位进行编码,所以要通过显著性区域S确定每个CTU的显著性。当前CTU和一个bounding box的相交区域计算如下:
其中,A_kctu是第k个CTU,A_idet是第i个bounding box。
为了确定一个CTU是否是显著的需要找一个合适的阈值,其中要考虑两种情况。第一种情况是,单个bounding box尺寸小于CTU的尺寸。在这种情况下A_ikoverlap不大于A_idet。第二种情况是,单个bounding box尺寸大于CTU的尺寸。在这种情况下A_ikoverlap不大于A_kctu。可以通过下面的方式计算相对相交度d,
d最大取1,当bounding box和CTU不相交时d=0。
当CTU至少和一个bounding box的相交度大于阈值θ 时该CTU才会被判定为显著。
H保存了每个CTU的显著性信息。最终根据H确定每个CTU的QP,对于非显著CTU即H=0采用较大的QP,
实验结果
为了验证本文VCM框架的有效性,采用500幅未压缩的Cityscapes图像作为测试图像。首先使用YOLO对图像进行目标检测,根据检测结果确定每个CTU的显著性。使用All Intra配置,QP_base取12,17,22,27使用VTM6.2编码。然后对解码图像使用Mask R-CNN进行目标分割并计算加权mAP。阈值θ取值{0.0,0.025,0.05,0.1},QP_delta取5,20。不开启QPA的VTM6.2作为anchor。最终计算BD-rate,其中失真不使用PSNR而是加权mAP,结果如表1所示。
感兴趣的请关注微信公众号Video Coding
版权声明:本文为CSDN博主「Dillon2015」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Dillon2015/article/details/118982071
暂无评论