目标检测的“尽头”竟是语言建模？Hinton团队提出Pix2Seq：性能优于DETR

​作者丨happy
编辑丨极市平台
本文原创首发于极市平台公众号，转载请获得授权并标明出处。

原文链接：https://arXiv.org/abs/2109.10852

语言模型与目标检测这种八竿子打不着的领域之间会存在关联性吗 ？Hinton团队的最新工作Pix2Seq对此进行了探索，它将目标检测问题转换成了语言模型问题，并在COCO数据集上取得了与DETR相当甚至更优性能 。好大的脑洞！

Abstract

本文提出了一种简单而通用框架Pix2Seq用于目标检测，不同于已有显式集成先验知识的方案，我们将目标检测任务转换成了基于观测像素输入的语言模型任务 。关于目标的描述(比如边框、类别)将被描述为离散token序列，我们训练了一个神经网络去感知图像并生成期望的序列。

该方法主要基于这样的直觉：如果神经网络知道目标在哪、目标是什么，那么我们仅需要教它如何进行解析 。除了实用任务相关数据增广外，该方法对任务做了最小假设，相比高度优化的检测方案，所提方法在COCO数据集上取得了极具竞争力的结果。

原文地址：目标检测的 “尽头” 竟是语言建模？Hinton 团队提出 Pix2Seq：性能优于 DETR

版权声明：本文为CSDN博主「极市平台」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Extremevision/article/details/121416984