机器视觉资讯20240517

---

视觉招聘小黑板

欲了解详情，请在公众号后台回复：240517

---

---

行业资讯

What is Generative AI? Your 2024 Comprehensive Guide： 2024-05-15T12:30:00+00:00

Introduction

What is Generative AI? It’s a question that looms in most of our minds. Generative AI has gained huge traction during the past few years. With ChatGPT blowing up during November 2022, there is no going back!

Various industries are adopting Generative AI for interesting applications like content generation, marketing, engineering, research, and

......长按二维码访问原文

梅卡曼德获2023年度北京市科学技术进步奖--机器视觉网 2024-05-16 18:01:01

2024-05-16 18:01:01 来源: 中国机器视觉网

近期，北京市人民政府发布了《关于2023年度北京市科学技术奖励的决定》。北京市科学技术奖是北京科技界的最高奖项，由北京市人民政府设立，目的是奖励在本市科学技术进步活动中作出突出贡献的个人和组织，调动科学技术工作者的积极性和创造性，推动实施创新驱动发展战略，加快建设具有全球影响力的全国科技创新中心。

梅卡曼德致力于以AI+3D技术加速各行业智能化升级，在人工智能算法、机器人算法、成像算法、光/机/电核心器件等核心技术上积累深厚。此次评选，梅卡曼德联合清华大学开发的创新科技成果从众多参评项目中脱颖而出，荣获2023年度北京市科学技术进步二等奖。

持续优化产品性能，推动各行业智能化、柔性化升级

梅卡曼德对Mech-Eye工业级3D相机及系列软

......长按二维码访问原文

思特威推出笔记本电脑与平板应用系列5MP及2MP图像传感器--机器视觉网 2024-05-16 18:21:55

2024-05-16 18:21:55 来源: 中国机器视觉网

近日，思特威全新推出笔记本电脑与平板应用系列图像传感器产品SC521PC（5MP）及SC200PC（2MP）。两款新品都采用了思特威先进的SmartClarity®-3技术，具备高灵敏度、低噪声、超低功耗等多方面性能优势。SC521PC及SC200PC基于左右PAD结构设计，适配长方形模组空间，可适用于主流笔记本电脑、平板电脑等PC设备的屏幕超薄边框摄像头。

SmartClarity®-3融合SFCPixel®专利技术，无惧低照的高清成像体验

办公与学习作为当下笔记本电脑和平板设备的主流用途，内置摄像头主要用于满足网络会议、视频通话、线上网课等远程视讯的需求。随着PC设备整机厚度和重量的不断降低，此类远程办公与教育的用户使用场景日益灵活多

......长按二维码访问原文

鑫图宣布开发新一代大靶面高速sCMOS相机--机器视觉网 2024-05-16 18:16:23

2024-05-16 18:16:23 来源: 中国机器视觉网

鑫图宣布基于长光辰芯GSENSE6510BSI芯片开发新一代大靶面高速sCMOS相机。

长光辰芯近期发布的GSENSE6510BSI芯片，具有 3200 x 3200 (10.2 MP) 像素阵列，行业标准的 6.5 μm 像素和 29.4 mm 对角线视野，成像速度较上一代sCMOS技术实现了成倍提升；峰值 QE 达到 了95%，低噪声模式下读出噪声中值仅 0.7 e‾，在极弱光成像时也能提供出色的信噪比。该款芯片在灵敏度、速度和分辨率三个方面实现了极致平衡的性能，帮助用户进一步拓展成像系统灵敏度和效率的可能性。

鑫图已基于长光辰芯的高端 sCMOS 芯片，包括 GSENSE、GMAX、GLUX、GL 和 GSPRINT 系列，成功开发

......长按二维码访问原文

吉诺科技推出全新小尺寸非网管交换机，掌中有乾坤，环境无可惧--机器视觉网 2024-05-17 14:34:00

2024-05-17 14:34:00 来源: 中国机器视觉网

为了应对各行各业日趋灵活、越发复杂的网络环境，吉诺科技推出全新小尺寸非网管交换机GIE3008-8GT-EL保障网络的可靠运行。 GIE3008-8GT-EL交换机专为应对工业环境中复杂多变的网络挑战而设计，以其坚固可靠的性能，确保了工业现场的通信稳定性和数据传输的高效性。无论是自动化生产线、远程监控还是大型工业控制系统，GIE3008-8GT-EL都能提供无缝的网络连接和无忧的运营体验。

吉诺科技推出这款小尺寸工业级交换机，旨在为工业现场的持续运行和自动化系统的精确控制提供强有力的网络支持，让您的业务在严酷的工业环境中也能稳健前行！

体积小巧，便于安装

随着工业自动化日益复杂，机器或柜内部空间也变得愈发宝贵，因此新设备安装时对空间效率的要

......长按二维码访问原文

海康机器人推出运维管理平台，让高效运维尽在掌握！--机器视觉网 2024-05-17 14:24:55

2024-05-17 14:24:55 来源: 中国机器视觉网

海康机器人运维管理平台的新版本实现了系统部署模式的全新升级，在迅捷部署、便捷登录、服务运维、安全容灾等方面进行全面优化，为项目的快速交付和稳定运行提供了更优保障。

开放统一系统门户

通过合并仓储系统iWMS-1000与调度系统RCS-2000的访问入口，采用统一的用户登录、用户管理、权限管理、授权管理模块，形成紧密的业务系统体系。用户在登录不同业务系统时，无须输入多个系统地址、更换登录账户，实现系统一致性。

支撑系统迅捷部署

该运维管理平台还提供简洁的操作指引，运维人员可快速完成多台服务器的部署。在安装过程中，如数据库和消息队列（MQ）等中间件无需逐一配置，安装完成后，中间件将自动初始化，即可接入使用。

搭载HikRobot HA高可用

......长按二维码访问原文

大恒图像产教融合之道：同频共振、合作共赢！--机器视觉网 2024-05-17 14:07:03

2024-05-17 14:07:03 来源: 中国机器视觉网

近年来，国家开始大力推动高校与企业加强产学研合作，最大程度上发挥高校作为人才培养的主力军和企业作为创新主体的系统效应，分工合作，优势互补，协同创新，促进高校加快培养产业创新发展所需人才，凝聚力量推动特定领域系统性人才培养改革。为响应国家产教融合协同育人，大恒图像整合33年来机器视觉方向的经验与高校的合作资源，以全新的面貌开启与高校共建共享、优势互补的新章程。

机器视觉人才需求

随着工业4.0和中国制造2025的提出，机器视觉技术已经成为智能制造的“风口”技术，机器视觉技术人才就业质量高，在全国各地区更是供不应求。机器视觉技术涵盖面广，需要机械、电子、图像处理、模式识别以及面向对象的编程技术，对人才培养提出了很大的挑战。

大恒图像机器视觉高校

......长按二维码访问原文

汇川技术签约印度服务中心，升级海外技术及服务能力--机器视觉网 2024-05-17 13:54:04

2024-05-17 13:54:04 来源: 中国机器视觉网

印度的纺织工业仅次于中国排名世界第二，作为一个拥有14亿人口的地区大国，印度具备一定纺机制造基础。

即便如此，印度还是我国企业名副其实的第一大纺机市场。目前，印度织造机械、针织机械的进口量比较大，中国产的针织机械和非织造布机械占其进口70%左右。印度客户对价格比较敏感，对售后服务要求较为苛刻，国内企业想在印度纺织黄金市场持续开拓，就需要把基本功做扎实。

近日，汇川技术与印度苏拉特纺织专业服务中心（Precision Technology）签约售后服务合作，全面升级海外服务体系，以增强对海外市场及客户的技术支持和服务能力。

苏拉特纺织专业服务中心是一家深耕织造行业的专业服务商，在容量占比90%的苏拉特纺织市场有着15年的售后服务经验，对织机工

......长按二维码访问原文

天准GEACX1SC域控制器，搭载数据高速落盘方案，持续构建高效自动驾驶数采平台--机器视觉网 2024-05-17 13:43:35

2024-05-17 13:43:35 来源: 中国机器视觉网

近日，天准基于NVIDIA Jetson模组推出全新GEACX1SC域控制器，支持2*PCIE X4 转U.2接口，针对高带宽数据采集场景，实现数据的高速落盘。

高阶自动驾驶对视觉感知系统有严苛的精确性要求。RAW相机数据在提升感知精度、多传感器融合以及处理复杂场景等方面可以提供更多信息和细节，相比压缩后的图像更显优势。但由于RAW相机数据需要占用的带宽较大，对传输速率的要求较高，因此是否支持高带宽数据的高速存储功能成为数采平台控制器硬件能力的重要指标。

GEACX1SC域控制器是一款基于NVIDIA Jetson Orin嵌入式GPU模块而设计的高性能AI边缘计算设备，主要针对高带宽数据采集的场景，特别是RAW相机数据的采集，读写带宽≥5G

......长按二维码访问原文

CISS中智科仪逐光®MF八分幅相机拍摄等离子体射流时空演化过程--机器视觉网 2024-05-16 18:27:12

2024-05-16 18:27:12 来源: 中国机器视觉网

1、研究背景

等离子体射流由于其重复性低，多采用single shot发射方式。诊断最直观的手段就是采用高帧速相机进行拍摄，观察等离子体射流运动轨迹、形态、结构等。传统的高速相机帧速率和成像靶面尺寸很难同时兼顾，由于其曝光时间限制自身很难观测到纳秒级瞬态过程，这对于观测等离子体时空演化是不利的。八分幅相机内部由皮秒级抖动的数字延迟发生器和8个具备纳秒级光学快门的像增强相机构成，利用数字延迟发生器控制8个像增强相机在不同延迟下独立拍摄同一兴趣区域，从而实现了纳秒瞬态过程的完整记录，瞬时帧速率最大可达2G fps。这对于记录完整高速等离子体射流过程和射流测速具有积极作用。

本次试验中，等离子体枪发射出的等离子体射流只维持数十微秒，需要在不同时刻记

......长按二维码访问原文

威格勒传感器如何应对透明物体检测挑战？--机器视觉网 2024-05-17 15:58:31

2024-05-17 15:58:31 来源: 中国机器视觉网

在传感器实际应用中，对于透明/半透明物体的检测是一项技术挑战。由于透光性，光电传感器有时候不能可靠地识别到目标的存在，虽然某些应用场合可以使用诸如超声波传感器予以替代，但并不是所有的情况都是如此。威格勒在透明物体检测方面有着成熟且丰富的产品，不仅可以使用超声波检测，光电类传感器也已经成功突破了技术限制。

透明物体的透射率

挑战：透明物体具有很高的透射率，因此传感器发出的光线会穿过物体。光强度的这种微弱衰减会加大传感器的检测难度。

解决方案：透明物体用镜反射传感器、飞行时间法激光测距传感器和叉形传感器凭借其高的灵敏度和切换频率，即使在快速应用中也能可靠地识别。超声波测距传感器和标签识别用超声波叉形传感器探测物体不受透明度或颜色的影响。

耐抗

......长按二维码访问原文

无惧暗场环境的Vieworks TDI线阵相机--机器视觉网 2024-05-17 15:21:45

2024-05-17 15:21:45 来源: 中国机器视觉网

韩国Vieworks产品线中配备像素位移技术和TEC制冷技术的相机，这两种技术主要用于面阵相机提高图像质量。在线阵相机中，通常使用TDI技术（时间延迟积分技术）来增加灵敏度提高信噪比。

原理为：不同行的芯片区域对同一目标进行拍摄，延长等效积分时间，曝光产生的电荷会逐行叠加至最后一行，从而收集到比普通线阵相机更多的感光电荷，图像更加清晰明亮，TDI图像传感器的阶数越多，信噪比越高。

韩国Vieworks TDI线阵相机采用自主研发的Hybrid TDI传感器，实现超高灵敏度，无惧暗场环境；该产品经过多年市场验证，其图像质量和稳定性均有出色表现。

功能特点

Vieworks TDI线阵相机搭载全球首款混合型TDI线阵感光芯片，结合CCD芯片的

......长按二维码访问原文

宜科FX20插片式IO助力物流仓储系统高效运行--机器视觉网 2024-05-17 15:16:18

2024-05-17 15:16:18 来源: 中国机器视觉网

仓储系统是物流系统中不可缺少的部分，物流行业的现代化离不开仓储物流的现代化，现代仓储的发展必然会推动现代物流的发展。高效合理的利用仓储技术，可以帮助企业加快物资流动的速度，降低成本，保证生产的顺利进行，并可以实现对资源的有效控制和管理。随着信息技术和网络技术的快速发展以及人力成本的上升，仓储技术已经从人工和机械化阶段，向自动化和智能化发展。

无论是货物的存储系统，还是货物的输送与存取系统，都有大量的IO信号需要采集与控制，如接近开关，光电开关，电机驱动设备等。并且由于系统区域大，距离长，信号分散，采用传统的集中控制方式存在着诸多弊端。

宜科FX20插片式IO

宜科公司的FX20系列插片式IO产品，由总线耦合器和功能丰富的IO模块组成，可

......长按二维码访问原文

光场相机测速技术中景深方向不确定性的改进方法--机器视觉网 2024-05-17 15:00:39

2024-05-17 15:00:39 来源: 中国机器视觉网

本项研究详细介绍了一种基于光场相机的粒子追踪测速（PTV）算法，旨在对三维速度场的三分量进行精细化测量。算法核心在于利用相机视角的多样性，辅以三角化测量和粒子追踪技术，有效优化了光场粒子图像测速（PIV）实验中常见的景深方向不确定性难题。

首先采用Light Field Ray Bundling（LFRB）技术进行三维位置评估，框架如图1所示，通过图像数据与物理空间的映射函数将粒子光线投影至测量体。随后，算法在多个视角视图中独立追踪粒子，统合各个视点信息预测粒子随时间的动态轨迹，这不仅增强了三维轨迹估算的准确性，还保护了追踪算法免受深度信息上的非物理波动影响，如图2所示。

图1 Light Field Ray Bundling(LFRB)算法

......长按二维码访问原文

《机器视觉》VisionChina20周年特刊--专业书刊--书刊--机器视觉网 2024年05月21日

最新 《机器视觉》VisionChina20周年特刊 收藏 《机器视觉》VisionChina20周年特刊

出版发行：中国机器视觉网

编著：中国机器视觉网

印刷：中国机器视觉网

会员价：免费

原价：免费

[点击次数： 1031次]

......长按二维码访问原文

Uhnder 和华域汽车电子分公司达成协议将共同研制数字雷达 并计划在量产车型上快速推进 ―新闻频道- 视觉系统设计 2024/5/16 16:53:54

华域汽车电子分公司和 Uhnder 将共同带来国内首款车载数字雷达以提高道路安全

2024 年 5 月 16 日，中国上海——Uhnder 公司与华域汽车电子分公司达成协议，双方将合作开发采用数字雷达的 ADAS 技术，以提高所有用户（驾驶员、乘客、骑自行车者和行人）的道路安全。与当今典型的模拟汽车雷达相比，Uhnder 的数字雷达具有优异的感知能力，尤其是在黑暗、雨、雪、雾、灰尘或阳光刺眼等能见度较低的情况下。

华域汽车电子分公司总经理谢斌表示：“Uhnder 的数字雷达代表着传感技术向前迈出的重要一步。 Uhnder 的数字雷达具有高水平的物体和环境识别能力以及远距离探测能力，能够满足下一代 ADAS 的要求，并将显著提高先进安全系统在驾驶应用中的性能。”

准确可靠的雷达

这两家公司将向市场推出准确

......长按二维码访问原文

梅卡曼德获2023年度北京市科学技术进步奖―新闻频道- 视觉系统设计 2024/5/16 15:47:44

近期，北京市人民政府发布了《关于2023年度北京市科学技术奖励的决定》。北京市科学技术奖是北京科技界的最高奖项，由北京市人民政府设立，目的是奖励在本市科学技术进步活动中作出突出贡献的个人和组织，调动科学技术工作者的积极性和创造性，推动实施创新驱动发展战略，加快建设具有全球影响力的全国科技创新中心。

梅卡曼德致力于以AI+3D技术加速各行业智能化升级，在人工智能算法、机器人算法、成像算法、光/机/电核心器件等核心技术上积累深厚。此次评选，梅卡曼德联合清华大学开发的创新科技成果从众多参评项目中脱颖而出，荣获2023年度北京市科学技术进步二等奖。

持续优化产品性能

推动各行业智能化、柔性化升级

梅卡曼德对Mech-Eye工业级3D相机及系列软件进行了优化升级。新升级的3D相机软件可选反光物体模式，极大提升反光

......长按二维码访问原文

欧菲光双光源ToF架构方案赋能新一代扫地机器人―新闻频道- 视觉系统设计 2024/5/16 15:41:53

石头科技于三月底发布先锋旗舰自清洁扫拖机器人V20，该机型首次搭载了新型3D-ToF双光源发射技术,该技术由石头科技、英飞凌、pmd以及欧菲光共同研发、量产。方案通过发射两种不同模式的激光，让机器人能够通过双光源ToF技术往同样的方向，以不同的感知面积，发送不同类型的光信号，并根据信号的返回时间来计算物体与机器人之间的距离，从而完成空间内的深度、高度、宽度的测量理解，让机器人具备空间感知能力，以便进行定位导航和避障，侦测范围可达10米。

石头旗舰自清洁扫拖机器人V20发布现场

传统扫拖机器人的定位导航与避障需求通常选择两个独立传感器来实现，常用LDS激光雷达实现定位导航，结合其他光学测量传感器实现避障。V20率先使用一组传感器，实现完成避障与定位导航功能。双光源ToF的主要优势在于更好的环境适应性，例如：环

......长按二维码访问原文

webapi和wcf的比较-WCF-少有人走的路 2024-05-17 09:28:12

webapi和wcf的比较

（一）webapi的特点

最明显的特点是它是一种资源为导向的通讯方式。

使用标准HTTP动词如GET、POST、PUT、DELETE等，适用于所有的资源的增删改查操作，使得使用变得简单明了。

WebApi使用轻量级的Json格式进行数据传输，相比WebService使用的XML格式，传输性能有明显的提升

WebApi完全支持路由，使得URL的设计更加灵活。同时，它还支持模型绑定和验证，提高了数据的安全性

而相比wcf或者webservice来讲，它们是以功能函数为导向的，它的功能都是一些方法调用。

（二）webapi能完全取代wcf吗？

答案是不能，见下面：

Web API主要基于HTTP协议，是一种针对HTTP的、偏重于快速开发RestFul风格开

......长按二维码访问原文

手机怎么访问电脑上iis架设的网页-.net程序调试-少有人走的路 2024-05-16 22:19:18

勇哥注：

如果想把wcf服务架在iis上面，然后用web前端页面来访问wcf服务。

然后我们拿一台平板或者手机就可以访问到了，这样我们就可以把手机或者平板做为触摸屏来调机了！

第一步，我们得让手机能访问到电脑上的网页。

首先你的电脑上得有一个无线网卡，并且支持开启wifi热点.

开启成功后的样子如下图：

这个东西上右键，可以设置。

然后我们主要是看那个密码。

然后把你的手机连接上这个热点。

在你的手机浏览器的内容栏，输入电脑的http://电脑的IP地址

（电脑IP地址可以在cmd中敲入 ipconfig /all 来查看）

成功了！我们看到的网站首页！

收藏 | 0 点赞 | 0 打赏作者

......长按二维码访问原文

英伟达发布 VILA 视觉语言模型，实现多图像推理、增强型上下文学习，性能超越 LLaVA-1.5 2024-05-16 00:03

前言

近年来，大型语言模型 (LLM) 的发展取得了显著的成果，并逐渐应用于多模态领域，例如视觉语言模型 (VLM)。VLM 旨在将 LLM 的强大能力扩展到视觉领域，使其能够理解和处理图像和文本信息，并完成诸如视觉问答、图像描述生成等任务。然而，现有的 VLM 通常缺乏对视觉语言预训练过程的深入研究，导致模型在多模态任务上的性能和泛化能力受限。为了解决这个问题，英伟达的研究人员发布了 VILA，一种全新的 VLM，通过改进的预训练方法实现了多图像推理、增强型上下文学习等能力，并在多个基准测试中性能超越了 SOTA 模型 LLaVA-1.5。

技术特点

优化视觉语言预训练过程

VILA 的核心技术在于对视觉语言预训练过程的优化。研究人员通过对预训练数据集、训练策略和模型架构进行深入研究，发现了影响

......长按二维码访问原文

学会labview能做什么工作？ 2024-05-15 11:32

labview在自动化行业内是不可或缺的一款测量软件。相对其他编程语言，labview有简单易上手的特性，但是想要熟练应用labview还要在项目上应用！

......长按二维码访问原文

【经典文献】水下光学和声学成像：融合的时代？最新技术概述 2024-05-15 20:59

文献名称：《Underwater Optical and Acoustic Imaging: A Time for Fusion? A Brief Overview of the State-of-the-Art》

作者列表：Fausto Ferreira, Diogo Machado, Gabriele Ferri, Samantha Dugelay and John Potter

作者单位：北约科学技术组织（NATO Science and Technology Organization，STO）海事研究和实验中心，位于意大利拉斯佩齐亚

发表会议：OCEANS 2016 MTS/IEEE Monterey

发表年份：2016年

DOI链接：10.1109/OCEANS.2016.7761354

......长按二维码访问原文

大橘子投资价值发现系列 317：熵基科技，计算机视觉与生物识别领域的领军企业 2024-05-16 10:54

一家多模态“计算机视觉与生物识别”（BioCV）领域的国际化企业，公司主要致力于将指纹、掌静脉、掌纹、面部、指静脉、虹膜等生物识别核心技术与计算机视觉、射频、物联网、云计算等技术相融合，向商业、交通、金融、教育、医疗、政务等多个领域，提供具备物体目标检测、身份识别与验证功能的智能终端、行业应用软件与平台。产品应用场景非常广泛。

在深耕智慧出入口、智慧身份核验、智慧办公三大业务板块的同时，积极部署智慧零售云服务领域，为公共服务领域用户、企事业用户及个人用户提供数字化产品与服务。

全球定位，4000 员工。

智慧出入口管理产品，境外 67%，其实主要是门禁设备：

......长按二维码访问原文

【LLM-多模态】在构建视觉-语言模型时，什么是最重要的? 2024-05-16 09:44

一、结论写在前面

视觉-语言模型（VLMs）的日益关注是由大型语言模型和视觉变换器的改进所推动的。尽管在这一主题上有丰富的文献，但论文观察到，关于VLMs设计的关键决策往往没有得到充分的证明。论文重新审视了VLM文献中的常见选择，并在受控实验中严格比较了这些选择。论文的发现涉及不同架构的有效性、它们在性能/推理成本之间的权衡以及训练稳定性。基于这些学习，论文训练了Idefics2，一个开放的8B参数视觉-语言模型。Idefics2在其类别尺寸的各个基准上都是最先进的，并且在推理上更加高效。通过发布论文的发现、论文的模型以及论文的训练数据集，论文旨在为VLMs及其在解决复杂现实世界问题中的应用的不断发展做出贡献。

二、论文的简单介绍

2.1 论文的背景

接受图像和文本作为输入并输出文本的视觉-语言模型（V

......长按二维码访问原文

Unity 和 OpenCV：结合计算机视觉和游戏开发 2024-05-16 15:22

前言

Unity 和 OpenCV 是两个强大的开发工具，分别用于游戏开发和计算机视觉。结合它们可以实现一些有趣和创新的项目。本篇博客将介绍如何在 Unity 中集成 OpenCV，以及如何利用它们的结合来创建令人惊叹的应用程序。

一、Unity 中集成 OpenCV

1. 安装OpenCV plus Unity 插件

首先，我们需要在 Unity 中安装 OpenCV plus Unity插件。这个插件提供了与 OpenCV 库集成的功能，使我们能够在 Unity 中使用 OpenCV 的强大功能。

2. 导入 OpenCV 包

在安装插件后，我们需要导入 OpenCV 包到 Unity 项目中。这将包括所需的库文件和相关的脚本文件，以便我们可以开始在 Unity 中使用 OpenCV。

......长按二维码访问原文

WaterMamba：水下图像增强的视觉状态空间模型 2024-05-16 23:00

一句话总结

WaterMamba：一种基于Mamba的水下图像增强新框架，并提出一种空间-通道感知的UNet架构，以及空间通道全向选择性扫描(SCOSS)模块，在多个数据集上性能表现SOTA！代码将开源！

强烈推荐—>年薪百万校招岗位！极氪智驾团队诚聘博士

WaterMamba

WaterMamba: Visual State Space Model for Underwater Image Enhancement

单位：宁波大学

论文：https://arxiv.org/abs/2405.08419

点击关注 @CVer官方知乎账号，可以第一时间看到最优质、最前沿的CV、AI、AIGC工作~

快点击进入：Mamba和NeRF学习技术交流群

由于影响光在水中传播和吸收的因素，水下成像通常质量较

......长按二维码访问原文

Transformers 加速的一些常用技巧 2024-05-16 22:54

前言 本文介绍了一些Transformers常用的加速策略。

本文转载自Deephub Imba

仅用于学术分享，若侵权请联系删除

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV方向的准研究生们，未来三年如何度过？

招聘高光谱图像、语义分割、diffusion等方向论文指导老师

Transformers 是一个强大的架构，但模型因其采用的自注意力机制，虽然能够有效地处理序列数据并捕获长距离依赖关系，但同时也容易导致在训练过程中出现OOM（Out of Memory，内存不足）或者达到GPU的运行时限制。

主要是因为

参数数量庞大：Transformer模型通常包含大量的参数，尤其是在模型层面进行扩展时（例如，增加层数或头数）。这些参数需要

......长按二维码访问原文

相机标定：从入门到实战 2024-05-17 09:52

声明

1、大部分图已经出现在已发表论文，请勿直接复制粘贴至自己的论文、实验报告和课程设计，学术问题后果自负。

2、本文不能覆盖所有知识点和公式。对于某些公式存在疑问，先尝试推导一下，或者以“相机标定”为关键词搜索一下后仍无法解决，欢迎留言。

适用对象

1、相机标定小白

2、相机标定入门者

1、概述

当第一次接触到相机标定这个专用名词时，大家会很自然地提出以下三个问题：

1、什么是相机标定？

2、为什么要相机标定？

3、怎样去相机标定？

Q1：什么是相机标定？

相机：我们身边能接触多种类型的相机，最常见的有手机摄像头、马路上用来监控的相机、刷脸支付的相机等等，相机百度百科的定义是：利用光学原理成像的设备。

标定：根据百度百科中，最相近的定义是：确定仪器或测量系统的输入--输出关系

相机

......长按二维码访问原文

Pink：图像细粒度指代理解多模态大模型 2024-05-17 11:27

图1 指代感知大模型Pink框架示意图与测评结果对比

引言

多模态大语言模型是一类以大语言模型为基础集成多种信息模态处理能力的人工智能模型，与传统的多模态模型相比，其利用大语言模型的强大推理能力，在各类视觉任务和多模态理解任务中表现出强大的潜力和涌现的能力，例如根据图像的故事生成，OCR-Free的推理问答，文档分析等，这些能力使其迅速成为新兴的研究热点。现有的多模态大语言模型一般专注于图像级别的内容理解，无法对图像中的特定目标进行细粒度分析，并且模型构建过程中需要大量的指令微调数据和训练资源，严重限制了其在各类视觉任务和多模态任务中的应用。

方法简介

如图1所示，方法由视觉编码器（Visual Encoder），桥接层（Projection）和大语言模型（LLM）组成。给定一张图像和指令文本，

......长按二维码访问原文

Fine-tune PaliGemma for Object Detection with Custom Data： 2024-05-17T11:27:13.000Z

PaliGemma , released by Google in May 2024, is a Large Multimodal Model (LMM). You can use PaliGemma for Visual Question Answering (VQA), to detect objects on images, or even generate segmentation masks.

While PaliGemma has zero-shot capabilities – meaning the model can identify objects without fine-tuning – such abilities are limited. Google strongly recom

......长按二维码访问原文

Finetuning Moondream2 for Computer Vision Tasks： 2024-05-17T00:23:55.000Z

In this guide, we explore how we can fine-tune a fully open-source, small vision language model, Moondream2 , using a computer vision dataset to count items, a task at which GPT-4V has been inconsistent, and do it in a way so we can rely on the output for use in a production application.

Vision language models (VLMs), sometimes referred to as multimodal mod

......长按二维码访问原文