机器视觉资讯20231222-使用区域扫描相机提高餐饮业生产效率/机器视觉系统中图像采集卡的选择/国内的机器视觉技术的水平怎样

行业资讯

先临天远高精度工业三维扫描，助力三一重装提升超大型矿车生产能力--机器视觉网 2023-12-22 14:23:39

2023-12-22 14:23:39 来源: 中国机器视觉网

测量技术在工业制造能力的发展升级中，具有重要作用，例如高精度测量技术的演进，推动着精密制造的前行。同样，在大型工程机械的生产过程中，高效准确的测量技术也支撑着生产能力的再次升级。走进三一重装，了解如何通过高精度工业三维扫描技术赋能，实现具有更大尺寸的超大型矿车的顺利生产。

生产更大尺寸超大型矿车，测量工具亟需升级

在矿车等工程机械的生产过程中，随着产品的更新迭代，矿车的载重能力不断提升，矿车的整体尺寸也不断增大，这给生产过程带来了一定挑战。

当超大型矿车的整体尺寸增加时，其所有结构件的尺寸均同比增加，有些结构件长度可达7-8米。在面对如此大型工件时，之前的测量方式无法适用：人工难以准确测量三维尺寸，同时三坐标量程范围也难以覆盖如此大型工件。

......长按二维码访问原文

Firefly DL小巧轻便，嵌入式深度学习加速部署--机器视觉网 2023-12-22 11:41:37

2023-12-22 11:41:37 来源: 中国机器视觉网

近年来，机器视觉系统越来越多地基于可变条件进行自动化决策。开发这些系统所需的时间和精力可能会让人望而却步。而深度学习的出现正在改变这一局面，并使自动化决策触手可及。开源库、Nvidia硬件和FLIR相机等资源正在帮助实现这一变化。

走进深度学习

“一张图片胜过千言万语”这句话在机器视觉领域里从未像今天这样真实。机器视觉可以将数千甚至数百万行代码用简单地经过图片和少量编码训练后的的神经网络所代替。

深度学习是一种机器学习形式，它使用在输入和输出节点之间有许多“深层”层的神经网络。通过在大数据集上训练网络，可以创建一个模型，用于根据输入数据进行准确预测。在用于深度学习的神经网络中，每一层的输出都被反馈到下一层的输入。通过改变层之间连接的权重来迭

......长按二维码访问原文

使用区域扫描相机提高餐饮业生产效率--机器视觉网 2023-12-22 10:17:04

2023-12-22 10:17:04 来源: 中国机器视觉网

本文章着重介绍特励达区域扫描相机为餐饮行业生产效率带来的好处。区域扫描相机能够一次性捕捉对象的二维区域图像，并支持彩色或单色显示，故十分适用于各种工业应用场景。

餐饮行业是一个快节奏、高要求的领域，该领域对生产过程中每一个阶段的效率和准确性都有很高的要求。在食品加工、包装、质量控制和库存管理等不同生产阶段实现生产效率的优化是取得成功的关键步骤。

特励达成像产品系列种类丰富，从图像传感器、线扫描／面扫描／智能相机到3D激光轮廓仪，充分满足您的需求。此外，人工智能（AI）图像处理软件Sapera Processing也能够显著提高餐饮行业的生产效率。

使用连拍模式和TurboDrive™，提高图像采集速度

餐饮行业成像应用（如高速食品分拣、分

......长按二维码访问原文

纳米结构改变了微型相机和投影仪 2023-06-08 17:50:05

超薄 半导体 镜终于将进入消费者手中。

在今天的 电脑 、电话和其他移动设备中，越来越多的 传感器 、 处理器 和其他 电子 设备在抢夺空间。相机占据了这宝贵空间中很大的一部分：几乎各个电子设备都需要一个或者两三个相机，甚至更多。相机中最占用空间的是镜头。

移动设备中的镜头常通过折射来收集和引导入射光，使用透明材料（通常是塑料）的曲线使光线弯曲。因此这些镜头无法再缩小了：要制造一台小型相机，需要一个短焦镜头；但焦距越短，曲率越大，因而 中心 也越厚。高度弯曲的镜头也会形成各种像差，因此相机模块制造商使用多个镜片来进行补偿，从而增加了相机的体积。

对于今天的镜头，相机尺寸和图像质量朝着不同方向发展。使镜头更小更好的唯一方法是使用不同的技术取代折光镜片。

这种技术是存在的。它便是超透镜（metalens），

......长按二维码访问原文

浅谈图像分割基于阈值处理的基本方法 2023-12-02 13:15:02

相关推荐

FPGA图像处理方法 图像细节。 FPGA 图像处理方法 1、图像增强 两大方法：空间域方法和时间域方法（以后再详述） 2、图像滤波 （1）平滑空间 滤波器 （2）中值滤波 算法 3、图像边缘 检测 边缘指图像局部强度变化最显著的部分。边缘主要存在与目标与 2023-12-02 13:15:02 247

最全综述：图像分割算法 阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值作比较，最后将像素根据比较结果分到合适的类别中。因此，该方法最为关键的一步就是按照某个准则函数来求解最佳灰度阈值。 2023-11-03 16:04:28 169

机器视觉图像分割的方法有哪些？ 现有的图像分割方法主要分以下几类：基于阈值（threshold）的分割方法、基于区域

......长按二维码访问原文

像素技术-浅谈图像分割基于阈值处理的基本方法

像素技术

浅谈图像分割基于阈值处理的基本方法 该方法基于图像直方图上出现的双峰现象。当一个图像有双峰现象时，其直方图会出现两个峰，分别对应图像中两种不同的颜色或亮度区域。这时我们可以使用直方图双峰法... 2023-12-22 标签：像素机器视觉图像分割 16 0

采集激光雷达如何提取照片中的角点像素 提取照片中的角点像素 首先需要把最上面获得的相机内参畸变纠正参数以下图的格式保存在 data/parameters/intrinsic.txt文件下 d... 2023-11-28 标签：像素相机激光雷达 100 0

工业现场相机坐标系和机械手坐标系的标定 其中r是毫米像素比、(mm/pixel)就是一个毫米有几个像素，theta为两个坐标系之间的夹角，(x0,y0)为图像坐标原点到机械坐标原点的距离。 2

......长按二维码访问原文

机器视觉系统中图像采集卡的选择-电子发烧友网 2023-12-21 10:20

来源：MookLab马克拉伯

机器视觉 技术是目前 工业 生产 检测 实现自动化、 智能 化的重要应用。机器视觉系统分为图像采集与图像处理两大板块，图像采集卡就是连接这两大板块的重要组件。

机器视觉系统图像采集部分主要由 LED 光源、工业镜头以及工业相机互相配合，图像处理部分则是由图像处理软件来实现，因此，在原理结构上，图像采集卡连接着工业相机与图像处理软件。

图像采集卡常用概念

1、A/D转换

图像采集卡可以实现 模拟 信号 向 数字信号 的转换，称为A/D转换，相应的实现转换的组件被称之为A/D 转换器 。

2、传输通道数

为了满足生产需要，图像采集卡有了同时对多个相机进行A/D转换的功能。传输通道数就是指的就是利用同一块图像采集卡同时进行转换的数目，目前市场上研发生产的采集卡可选传输通道有

......长按二维码访问原文

国内的机器视觉技术的水平怎样？ 2012-12-14 11:12:50

伟景 智能 CEO董霄剑认为，国内人形 机器人 产业仍处于导入期，主题投资和研发仍是主导。商业化应用成功案例相对较少，因此未来机器人行业的格局尚在探索中。

近期，工信部发布了《人形机器人创新发展指导意见》。《意见》提出，人形机器人集成了 人工智能 、高端制造、新材料等先进技术，有望成为继计算机、 智能手机 、 新能源 汽车后的颠覆性 产品 ，将深刻变革人类生产生活方式，重塑全球产业发展格局。

《意见》明确提到，人形机器人需要集成先进技术，包括 高精度 传感器 ，用于突破视、听、力、嗅等感知关键技术，以提升环境综合感知能力。此外，还需发展高功率密度执行器，以满足机器人在高爆发移动和高精度作业方面的需求。针对复杂环境感知需求，视觉传感器的开发也成为重中之重，其中包括集成高精度仿生眼与类脑处理 算法 的技术。

......长按二维码访问原文

机器视觉运动控制一体机在喇叭跟随点胶上的应用-电子发烧友网 2023-12-21 10:13

市场应用背景

点胶是通过使用多种粘合剂，实现 产品 密封、绝缘、导热和耐腐蚀等作用，可应用于多类产品的生产制造场景，例如3C 消费电子 、汽车新能源、光伏和 半导体 等领域。

点胶是喇叭生产过程中必不可少一道工艺，音圈是扬声器的重要部件，点胶质量直接影响扬声器的质量。在保质保量的喇叭点胶市场高需求下，传统的手工点胶或中小型半自动点胶机无法适应工厂灵活批量生产作业的需求。

传统点胶解决方案在扬声器行业中存在的问题:

传统点胶解决方案是采用人工或中小型半自动点胶机，进行手动点胶或上下料等操作，无法适应工厂批量生产作业。同时针对不同规格的产品，需频繁停机更换治具等一系列问题，导致生产效率低下，精度不高等问题。

正运动技术视觉点胶整体解决方案:

在此背景下，正运动技术的视觉点胶整体解决方案脱颖而出，方案是基

......长按二维码访问原文

图漾科技发布3D工业视觉应用开发平台VISION++―新闻频道- 视觉系统设计 2023/12/21 23:32:57

2023年12月20日，全球领先的3D机器视觉企业图漾科技发布了3D工业视觉应用开发平台Vision++，集成了简单易用的图形化低代码开发环境、丰富的2D和3D视觉算子库、用户面板设计工具等功能组件，同时支持用户进行二次开发并可灵活扩展用户私有和第三方的算子。

自发布日起，Vision++正式面向全行业用户和合作伙伴开放免费授权，以推动3D机器视觉的应用开发更加简单快捷。

众所周知，2D机器视觉领域里有Halcon以及VisionPro这样的软件开发平台，拥有广泛的用户基础和庞大的生态系统，在便利了用户的项目开发的基础上，推动了整个2D视觉行业的技术普及及应用渗透。

而在新兴的3D视觉领域中还缺乏同类型的软件开发平台，导致目前3D视觉项目面临着开发门槛高的挑战。作为业内的领先企业，图漾科技率先推出

......长按二维码访问原文

晶圆缺陷检测解决“自动追焦”难题―技术与应用频道- 视觉系统设计 2023/12/21 23:27:25

“地心科技高精密XY一体式直线运动台ONEXY系列，搭配SurfaceZ系列高精度升降台，完美实现晶圆缺陷检测应用中的快速自动追焦难题，并实现了等间距触发高速相机采集图像，在晶圆缺陷检测领域发挥重要作用。”

01. 晶圆缺陷AOI检测

晶圆缺陷光学检测一直是一个长期伴随IC制造发展的工程问题。晶圆缺陷检测要准确识别出晶圆的缺陷，如空隙，凹陷，划痕等；并要求得到缺陷的具体信息，包括缺陷的位置，面积大小等等；满足大规模工业化生产的速度和产能需求，实现快速检测。

图片来自于 陈世炜的“基于明暗场成像的多扫描方式图案化晶圆检测技术研究”，侵删

在之前的应用介绍中，介绍了半导体行业中晶圆缺陷检测的常见方法主要有两种：自动光学检测系统（Automatic Optic Inspection , AOI ）以及扫描电子

......长按二维码访问原文

紫外工业相机在半导体制造检查系统中的应用―技术与应用频道- 视觉系统设计 2023/12/21 22:57:52

现今的微芯片上包含了几十亿个晶体管，这些晶体管被集成到越来越小的尺寸内。这是通过光刻机来实现的，光刻机使用193–365nm波长的准分子激光器和二极管激光器产生的深紫外线来蚀刻连接晶体管的复杂电路。

接下来我们将探讨几种应用说明紫外相机可以有效地识别和检测出产品缺陷，提高产品质量，提升效率，降低成本。

裸晶圆检测

半导体制造的原材料是单晶硅，即所谓的裸晶圆或衬底晶圆。在检测时，有的污染或缺陷只有几微米大小。波长更短的紫外线在识别晶圆的表面缺陷时的准确度才是最高的。

用紫外线光源照射裸晶圆，并同时用紫外相机、可见光相机和短波红外相机一起捕捉晶圆表面的高分辨率图像。然后使用先进的图像处理算法进行图像分析，就可以对各种缺陷进行识别和分类。有几种类型的缺陷可以通过紫外相机检测出来。其中包括在制造

......长按二维码访问原文

屠榜遥感目标检测！AAAI 2024 | STD：旋转目标检测新网络 2023-12-21 23:09

一句话总结

霸榜遥感目标检测DOTA/HRSC2016！本文提出一种空间变换解耦结构STD，对ViT模型在旋转目标检测中的潜力进行了深入挖掘。在Transformer BBoxHead的基础上，按照一种“分而治之”的想法，为不同预测量分配不同特征图，并通过激活mask逐层增强前景特征，在DOTA-v1.0、HRSC2016等数据集上均刷新了SOTA性能，收录AAAI 2024！代码已开源！

快！现在点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI工作~

STD

Spatial Transform Decoupling for Oriented Object Detection

单位：国科大, 中科院

代码：https://github.com/yuhongtian17/S

......长按二维码访问原文

ICCV23开源 | 兼具泛化性与绝对尺度的单目深度估计！ 2023-12-22 15:13

0. 笔者个人体会

目前的单目深度估计有两个问题，一个是自监督方法无法估计绝对尺度，另一个是在某个数据集上训练好的模型很难直接泛化到其他数据集。

笔者最近阅读了ICCV 2023的一篇文章ZeroDepth，同时解决了绝对尺度和泛化性两个问题，可以用一个模型直接在室内室外多个数据集上预测绝对深度，感觉在实际应用上有很大价值。因此笔者今天将为大家分享这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~

1. 效果展示

先看一下ZeroDepth预测的深度图，上方是将RGB和深度值投影的结果，里面还有雷达点云真值做对比，验证深度估计的准确性和绝对尺度。注意ZeroDepth没有在这四个数据集上做过任何微调。

代码已经开源了，感兴趣的读者可以运行代码测试一下。

2. 论文信息

标题：Tow

......长按二维码访问原文

医学图像分割的视觉Transformer：最新综述 2023-12-22 17:55

50页综述！152篇文献！本文全面回顾了用于医学图像分割的ViT和混合CNN-ViT的最新进展，详细概述了它们在各种医学图像模态中的应用。这篇文章可能会为研究人员、医疗从业者和学生提供宝贵的资源，帮助他们了解基于ViT的医学图像分割的最先进方法。大家赶紧学起来！干货满满！

现在点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI工作~

A Recent Survey of Vision Transformers for Medical Image Segmentation

论文：https://arxiv.org/abs/2312.00634

医学图像分割在各种医疗保健应用中发挥着至关重要的作用，能够实现准确的诊断、治疗计划和疾病监测。近年来，视觉Transformer（ViTs

......长按二维码访问原文

NeurlPS'23开源 | 语义分割的训练数据不够了怎么办？ 2023-12-21 15:08

0. 笔者个人体会

相信做过语义分割的小伙伴一定经历过数据集不够的情况，如果大家打过标签就会知道人工标注的过程有多繁琐。

那么怎么办呢？最近笔者看到了NeurlPS 2023开源了一项新工作FreeMask，可以快速生成大量的RGB-Mask标签对，直接增强语义分割的训练性能。这项工作是基于扩散模型的，笔者也在感叹这两年深度学习发展真实太快了，各行各业都在受影响。

今天笔者将为大家介绍这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~

1. 效果展示

先看看具体效果，左侧是真实图像和对应的Mask标签。FreeMask的原理是基于Mask分割图生成不同的RGB图，这样来做数据增强。当然为了防止过拟合还做了一些技巧，这个我们后面再说。

ADE20K上的生成效果，剔除掉了一些无效标签（白

......长按二维码访问原文

上线一周就2.1k star！单张图像直接转为3D模型！ 2023-12-21 10:35

0. 笔者个人体会

提问：给你一张2D图像，要求获得完整的三维模型，你会怎么做？

我第一反应是拿SolidWorks自己画一个~

最近就看到了这样的一项开源工作Wonder3D，可以直接从2D图像生成3D模型，感觉很神奇。读了读文章，发现这项工作是基于扩散模型实现的，这里也不得不感叹扩散模型确实在AI绘画和图像生成领域有无限前景。今天笔者也将带领读者阅读一下这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起探讨，共同学习。

1. 效果展示

Wonder3D仅需2~3分钟即可从单视图图像重建高细节纹理网格。Wonder3D首先通过跨域扩散模型生成一致的多视法线图与相应的彩色图像，然后利用一种法线融合方法来实现快速和高质量的重建。

对不同风格的图像也都适用。

甚至对各种小动物也适用：

代码

......长按二维码访问原文

AAAI 2024 | 首篇！WSOVOD：弱监督开放词汇目标检测 2023-12-21 11:24

一句话总结

这个研究方向还有较大的可内卷深度。。。

WSOVOD：一种新颖的弱监督开放词汇目标检测框架，以扩展传统的 WSOD 来检测新概念并利用仅具有图像级注释的多样化数据集，性能表现SOTA！代码即将开源！

快！现在点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI工作~

WSOVOD

Weakly Supervised Open-Vocabulary Object Detection

单位：厦门大学, 腾讯优图, 华东师大

论文：https://arxiv.org/abs/2312.12437

尽管弱监督目标检测（WSOD）是避免强实例级注释的一个有前途的一步，但其功能仅限于单个训练数据集中的封闭集类别。

在本文中，我们提出了一种新颖的弱监督开放词汇目标检测框架

......长按二维码访问原文

nuScenes & SemanticKITTI分割第一！最新多模态LIDAR分割网络！最大的室外开源点云分割库！ 2023-12-22 15:41

0. 笔者个人体会

LiDAR点云分割一直是一个很经典的问题，学术界和工业界都提出了各种各样的模型来提高精度、速度和鲁棒性。但因为室外的复杂环境，所以室外点云的语义分割和全景分割的性能都还不是太好。

今天，笔者将带领读者阅读上海AI Lab的新作UniSeg，使用RGB图像来增强点云分割，并且将点云转换为体素、Range图像等多模态数据来做进一步增强，效果非常好。另一方面，作者声称他们开源了目前最大、最全面的室外LiDAR分割算法库，可以直接调用14种SOTA分割算法！

1. 效果展示

首先来看看UniSeg与其他SOTA LiDAR分割算法在Semantic KITTI和nuScenes上的分割精度对比（感觉他们现在很喜欢以时间轴为单位画图？）。可以发现UniSeg性能远超之前的2DPASS、RPVN

......长按二维码访问原文

秦岭到大西洋: CGCV博一的2023总结 2023-12-21 23:58

2023年的开头，我在秦岭脚下投申请，每天白天忙实习的paper、写不同的rp，晚上则和朋友打打游戏，从lol打到永劫无间、守望先锋，偶尔开把文明6。那时候朋友们都还在国内，各自奔忙在不定的未来前，焦虑压抑又隐隐有些期待。记得十二月底，西安飘了几天雪，不似今年盛大，但也在山顶留了许久。有时一周没有收到套磁回复，我就去启翔湖边角落的石阶上躲着；那时晴空枯淡，远山苍白，湖是很好看的。

2023年的末尾，如愿在爱丁堡度过人生第一个会放假的圣诞节。这一年何其幸运，遇到了非常棒的导师、同事和女友。被合作者们带飞，投出了博士第一篇工作；也拜英国本土菜所赐，厨艺突飞猛进。只是朋友们散落各个时区，大乱斗总是自己一个人开了，输输赢赢，或者是输输输输输赢，却再没有熟悉的垃圾话了。

这一年改变了太多，无论是学术界、产业界还是我自

......长按二维码访问原文

机器视觉基础：图像拟合和匹配 2023-12-22 14:46

一、Hough变换在直线拟合中的应用

原理：

Hough变换是一种用于检测图像中直线的技术。其核心思想是将图像中的像素点映射到一个参数空间，其中每个像素点都对应一条直线。通过在参数空间中累积像素点的投票，可以检测到在原始图像中共线的像素点，从而拟合出直线。

方法：

霍夫空间参数化：对于直线，一般使用极坐标表示，其中两个参数分别表示直线的角度（θ）和距离（ρ）。 累积：遍历图像中的每个像素点，对于每个点，计算在霍夫空间中的所有可能直线参数，并在对应位置进行累积。 阈值化：在霍夫空间中找到累积值高于某个阈值的点，这些点对应于在原始图像中的直线。 直线提取：从霍夫空间中提取出直线的参数，并在原始图像上绘制检测到的直线。

实现：

Hough变换可以在不同编程语言中实现，通常使用以下步骤：

构建霍夫空间的累

......长按二维码访问原文

重磅发布！OpenStereo：开创双目立体匹配的新纪元 2023-12-22 18:00

是否曾想探索双目立体视觉的奥秘？OpenStereo为您揭晓！这个全新的Benchmark框架不仅支持6大主流双目数据集，还集成了12种先进网络。通过对双目立体匹配过程中的关键步骤：数据增强、特征提取、代价空间计算、视差回归和视差细化进行了深入的实验分析。基于大量的实验结果，打造了一个结构简洁却性能卓越的基线模型——StereoBase，它不仅提升了模型效率，还在精度上达到了新高度。

......长按二维码访问原文

基于Calibrated Outlier Class Learning的长尾识别中的分布外检测 2023-12-22 13:35

Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Learning Wenjun Miao, Guansong Pang, Xiao Bai, Tianqi Li, Jin Zheng

本文介绍了我们AAAI2024的工作Out-of-Distribution Detection in Long-Tailed Recognition with Calibrated Outlier Class Learning。

单位：北京航空航天大学，新加坡管理大学

论文：Paper

代码：Code

Abstract

现有的分布外（OOD）方法在平衡数据集上取得了巨大成功，但在长尾识别（LTR

......长按二维码访问原文

单目测距（yolo-目标检测+标定+测距代码） 2023-12-22 10:02

单目测距是一种常用的测量技术，它通过单个摄像头来测量物体与摄像头的距离。在现代科技的推动下，单目测距技术正在不断发展和应用于各个领域。本文将分点阐述关于单目测距的重要性、原理和方法、应用领域以及潜在的挑战和发展方向。

第一点，单目测距的重要性。

准确测量物体与摄像头的距离对于很多应用非常关键，比如智能驾驶、人脸识别、增强现实等。在智能驾驶中，通过单目测距可以判断车辆与前方障碍物的距离，从而实现智能制动和避让。在人脸识别中，单目测距可以帮助确定人脸的大小和位置，提高人脸识别的准确性。在增强现实中，单目测距可以用来精确定位虚拟物体，使虚拟内容与真实世界更加融合。

第二点，单目测距的原理和方法。

单目测距主要依靠图像中物体的几何信息来进行距离估计。常用的方法包括三角测量法、景深测量法和结构光测量法。三角测量法

......长按二维码访问原文

计算机图形学、数字图像处理、计算机视觉之间的区别与联系 2023-12-21 22:32

三者之间既有区别，又有联系，不确切的描述

计算机图形学≈画图

计算机视觉≈看图

数字图像处理≈看图前沐浴更衣焚香做好各种仪式

计算机图形学、数字图像处理、计算机视觉之间的区别与联系

计算机图形学（Computer Graphics）讲的是图形，也就是图形的构造方式，是一种从无到有的概念，从数据得到图像。是给定关于景象结构、表面反射特性、光源配置及相机模型的信息，生成图像。

计算机视觉（Computer Vision）是给定图象，从图象提取信息，包括景象的三维结构，运动检测，识别物体等。

数字图像处理（Digital Image Processing）是对已有的图像进行变换、分析、重构，得到的仍是图像。

模式识别（PR）本质就是分类，根据常识或样本或二者结合进行分类，可以对图像进行分类，从

......长按二维码访问原文

大盘点！22项开源NeRF SLAM顶会方案整理！（下） 2023-12-21 17:03

0. 笔者个人体会

上两篇文章我们介绍了仅优化NeRF、仅优化位姿、位姿和NeRF联合优化的NeRF SLAM相关工作。本文我们将介绍物体级NeRF SLAM和雷达NeRF SLAM的方案。

前情回顾：为避免生硬的翻译原文，本文针对每篇文章的介绍将以四个问题来进行，分别是这篇文章希望解决什么问题？核心思想是什么？具体如何实现？有什么效果？当然笔者水平有限，如果有理解不当的地方欢迎各位读者批评指正~

1. 目录

还是先放一个目录列举本文都介绍了哪些方案。

仅优化NeRF

0、NeRF

1、Point-NeRF

2、NeRF-SLAM

仅优化位姿

3、iNeRF

4、NeRF-Loc

5、NeRF-VINS（未开源）

位姿和NeRF联合优化

6、iMAP

7、BARF

8、NeRF-

......长按二维码访问原文

爆火！提升92%！One-2-3-45++来了：快速将单图像转为3D模型！ 2023-12-21 11:40

0. 笔者个人体会

最近单图像/文本转换成3D模型真的好火啊，各种各种的方案和模型层出不穷，确实感叹CV领域的进展得按天来计算了。

最近，之前爆火的图像到3D方案One-2-3-45又推出了升级版One-2-3-45++，全面提升了三维模型的生成质量，但是速度没有太大损失（45秒到60秒）。

今天笔者将为读者分享这项最新工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论。

1. 效果展示

One-2-3-45++可以用1分钟将任意RGB中的目标转换为高保真纹理网格，生成的3D模型非常接近原始输入图像。

对于各种复杂目标，3D模型的生成能力也非常强！

官方还放上了他们自己创建的游戏demo，里面每个模型都是由他们的One-2-3-45++生成的，游戏建模师估计要睡不着觉了。

目前官网上还

......长按二维码访问原文

<第20期>走向“万能模型”？Emu2-多模态的in-context learners 2023-12-22 00:05

"in context learning"（上下文学习）逐渐火起来了，当然火的代价就是大模型，大数据以及大算力。

什么是in-context learning呢，简单的说，就是给模型几个样本，让模型根据样本进行推理。它首先从大语言模型开始，逐渐扩展到视觉领域。

还记得那个纯粹的大视觉模型 （LVM)吗？其实就是一种纯视觉版本的in-context learner.

Generative Multimodal Models are In-Context Learners ( https://arxiv.org/pdf/2312.13286.pdf ) 展示了一种多模态的in-context learning, 包含各种不同的应用方式：

1，填充，就是给定一些列的样本（包括图像，语言等模态），让模型预测下一

......长按二维码访问原文

AAAI 2024 | Aleth-NeRF：低光增强与曝光纠正的新方向！不良光照场景下的新视角合成 2023-12-21 17:24

大家好，今天要介绍的是AAAI 2024关于不良光照下NeRF新视角合成的工作Aleth-NeRF，目的在不良光照场景下（如低光照和过曝光）场景，能够从NeRF无监督增强并且生成正常光照的连贯3D scene。我们提出的方法可以对现有NeRF进行简单改进，通过引入一个Concealing Field的概念，仅用几行代码就可以使得现有的NeRF在低光照或者过曝光的情况下，进行Novel View Synthesis重建，并且实现无监督的低光增强和曝光纠正。

快！现在点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI工作~

单位：东京大学，上海AI LAB，日本理化研究所, 牛津大学

论文：https://arxiv.org/pdf/2312.09093

代码：http://git

......长按二维码访问原文

ICCV2023开源！UncLe-SLAM：稠密神经辐射场SLAM的不确定性学习 2023-12-21 14:24

本文提出了一种名为UncLe-SLAM的方法，实现了在密集神经SLAM中对深度不确定性进行建模。传统的密集SLAM方法没有考虑到传感器噪声的影响，而是将所有像素都视为同等重要的，这可能导致SLAM的效果不佳。为了解决这个问题，本文设计了一种在线框架，可以利用2D输入数据的自监督训练来估计传感器的不确定性。通过对深度输入进行像素级的不确定性估计，本文可以对跟踪和建图损失进行重新加权，从而使得含有更可信信息的图像区域对SLAM的贡献更大。本文还探讨了不确定性学习在多传感器输入情况下的优势，并展示了该方法在建图和跟踪精度方面相比现有的神经隐式SLAM方法的改善。实验结果表明，该方法可以实现更低的轨迹跟踪误差和更高的F1分数。该方法与传感器类型无关，不需要真实的深度或3D数据作为输入。总之，本文介绍了一种在密集神经SL

......长按二维码访问原文

NeurlPS'23开源 | 第一个可泛化的语义NeRF！ 2023-12-21 10:40

0. 笔者个人体会

NeRF真是越来越火，而神经语义场更是NeRF中新兴的一个领域，作用是直接生成3D场景的语义分割/实例分割/全景分割。这项技术可以说是3D语义大模型训练的曙光，因为再也不用愁训练数据的标注工作量了。但不幸的是，现有神经语义场还是有NeRF的通病：泛化性差，换一个场景就要重新训练，直接影响了3D语义分割的生成质量。

但NeurlPS 2023上就开源了一项工作GNeSF，声称是第一个可泛化的神经语义场，目的是生成未训练场景的新视角的3D语义理解，这下语义分割数据集就更好生成了。

今天笔者将为读者介绍这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~

1. 论文信息

标题：GNeSF: Generalizable Neural Semantic Fields

作者：H

......长按二维码访问原文

Gaussian Splatting再优化！NeRF玩家全都看过来！ 2023-12-21 15:49

0. 笔者个人体会

最近3D Gaussian Splatting真的是太火了，由于它能够在实现NeRF的同时引入传统光栅化，极大地加快了NeRF的渲染速度。可以说很大程度上影响了NeRF的发展方向，也催生了很多相关的研究。

但也有人发现，当改变焦距或相机距离时，3D Gaussian Splatting可以观察到强烈的伪影。本文将为大家介绍一种最新的开源算法Mip-Splatting来解决这个问题，主要思想是引入3D频率约束和2D膨胀滤波器。

下面一起来阅读一下这项工作，文末附论文和代码链接~

1. 效果展示

先来看看具体的问题描述，3D Gaussian Splatting通过将3D物体表示为3D高斯投影到图像平面，然后在屏幕空间中进行2D膨胀来渲染图像（a）。3D GS的内在收缩偏差导致退化的3

......长按二维码访问原文

Talk | 约翰霍普金斯大学博士生魏晨: De-Diffusion-文本是不同模态的沟通桥梁 2023-12-21 12:00

公众号：将门创投(thejiangmen)

本期为TechBeat人工智能社区第557期线上Talk。

这次我“门”有幸邀请到，约翰霍普金斯大学博士生—魏晨来到TechBeat人工智能社区，为我们分享主题为“De-Diffusion-文本是不同模态的沟通桥梁题”，Talk已在TechBeat人工智能社区上线！【点击这里】，即可马上免费观看！

本次Talk中，她介绍了她的团队在如何通过文本(text) 构建一种强大的跨模态沟通桥梁 (cross-modal interface)上所做的研究。

Talk·介绍

我们探讨了如何通过文本(text) 构建一种强大的跨模态沟通桥梁 (cross-modal interface)。

长期以来，人们只使用deep embeddings来连接来自不同的模态模型，如图

......长按二维码访问原文

CVPR 2023开源! ORB和SuperPoint还可以再强化一下！ 2023-12-21 16:04

0. 笔者个人体会

无论是ORB、SIFT这样的手工特征点，还是SuperPoint这类基于深度学习的特征点，都在SLAM和SfM中应用广泛。但这些方法都已经很早了，有没有什么算法可以对它们进行二次强化，并且还能在嵌入式设备上使用呢？

今天要给大家介绍的就是这样一项工作，名为FeatureBooster，是CVPR 2023开源的工作。其在传统的特征匹配中引入轻量级描述符增强网络，主要思想是编码特征点的描述子及其几何信息，并使用轻量级Transformer来增强感受野，可以很好得优化ORB、SIFT、SuperPoint、ALIKE等特征点，并且在3090上运行速度达到了3.2ms，在Jetson Xavier NX上运行速度达到了27ms。

1. 效果展示

下图左列是原始ORB的匹配结果（最近邻匹配+

......长按二维码访问原文

NeurIPS 2023 论文亮点：2023-12-21T14：52：31.000Z

介绍

NeurIPS 2023 是神经信息处理系统的会议和研讨会，于 12 月 10 日至 16 日举行。会议展示了机器学习和人工智能的最新成果。今年的会议收录了 3,584 篇论文，这些论文在许多领域推动了机器学习的发展。NeurIPS 宣布 NeurIPS 2023 奖项-

...... 长按二维码访问原文