为机器视觉应用设计有效的传统和基于深度学习的检测系统

为机器视觉应用设计有效的传统和基于深度学习的检测系统

当遵循最佳实践时,机器视觉和基于深度学习的成像系统能够进行有效的视觉检查,并将提高效率,增加吞吐量并增加收入。
图 1:左侧的图像显示无瑕疵,右侧的图像清楚地显示了缺陷。图 1:左侧的图像显示无瑕疵,右侧的图像清楚地显示了缺陷。

作者:David L. Dechow 和 Andrew Ng

几十年来,机器视觉技术一直在工业环境中执行自动检测任务,包括缺陷检测、缺陷分析、装配验证、分拣和计数。最近的计算机视觉软件进步和处理技术进一步增强了这些成像系统在新的和不断扩大的用途中的能力。成像系统本身仍然是一个至关重要的视觉组件,但其作用和执行力可能被低估或误解。

如果没有精心设计和正确安装的成像系统,软件将难以可靠地检测缺陷。例如,尽管图1(左)中的成像设置显示了一个有吸引力的齿轮图像,但只有右侧的图像清楚地显示了凹痕。当遵循最佳实践时,机器视觉和基于深度学习的成像系统能够进行有效的视觉检查,并将提高效率,增加吞吐量并增加收入。本文深入探讨了迭代设计的最佳实践,并提供了成功设计每种类型的系统的路线图。

您的成像系统是否足够好?

照明、光学元件和相机组成成像系统,必须仔细指定和实施这些组件,以确保高质量的零件图像。在此上下文中,"高质量"是指与具有正常或预期外观的图像相比,具有足够的对比度以突出显示不可接受的特征(例如凹痕)。图像还必须具有足够的分辨率才能显示要素之间的差异。

如果人工检查员检查由检测系统生成的图像时无法自信地识别缺陷,则该软件也不太可能识别缺陷。相反,在人工检测员可以识别图像缺陷的情况下,无法保证成像技术在操作过程中能够对类似的目标缺陷进行可靠且可重复的检测。指示映像系统(而非软件)需要工作的情况包括:

  • 检查员查看物理部件可以可靠地判断某些东西是否有缺陷,但在仅查看捕获的图像时无法确定。
  • 两名检查员在查看物理部件时通常同意他们的评估,但检查物理部件的检查员通常不同意另一个检查员仅查看图像。

一个常见的误解是,如果人工检查员可以用肉眼看到一个特征,那么成像系统就可以设计成一个成功捕获相同特征的图像。但是,人工检测员可以从多个方向和不同的照明条件下查看零件,以做出质量判断,而静态成像系统不一定能捕获同样大的方向和照明变化范围。因此,它可能难以突出显示持有相同对象的人工检查员会突出显示的特征。而且,在检测透明零件划痕等情况下,成像系统面临的挑战可能会变得更加复杂。

几千年来,人类视觉系统在处理图像数据方面已经发展得非常高效和准确。构建一个能够在处理图像时击败一个人的软件系统是一项非常困难的任务,就像构建一个可以检测检查员无法检测到的缺陷的软件系统一样。即使是最先进的视觉系统也不是魔术。如果给出足够模糊和模糊的图像,则没有视觉系统可以可靠地做出缺陷判断。

传统成像系统设计清单

系统集成商和 OEM 在设计有效的成像系统时必须考虑多个因素。这些因素包括:

反差:创造性地使用专门为应用选择的专用照明和光学元件,以及产生对比度的特征类型,是机器视觉中的重要元素。

空间分辨率:成像系统中的空间分辨率是指跨越特征(如缺陷)的像素数。如果像素太少,则无法可靠地检测相对于零件表面的特征。假设图像聚焦良好,我们建议系统预期检测到的最小缺陷的宽度至少为5像素。

图像一致性:在自动化过程中,许多因素都可能导致图像发生变化,包括零件位置变化和零件本身的变化。在某些情况下,这些变化可能会导致照明源出现眩光或掉落,从而遮挡要素。在其他情况下,零件变化可能会导致反射,这些反射可能会被误认为是缺陷或缺陷。例如,如果机器视觉系统检查透明的汽车前照灯是否存在缺陷,则不同的照明条件会产生不同数量的眩光。系统越能从相同角度、相同照明和相同背景捕获图像,就越容易构建软件来检测缺陷。

暴露:曝光过度或曝光不足的图像会丢失大量精细细节。适当的曝光水平应允许系统捕获清晰的缺陷图像。

设计成像系统的迭代过程

为机器视觉系统指定成像架构只是整个集成过程中的关键步骤之一。成功的自动化视觉系统集成需要在组件设计和规范之前进行全面而有效的分析和规划,然后进行高效的安装、配置和系统启动。

在成像系统设计过程中也必须考虑软件。在某些情况下,将用于传统基于规则的机器视觉算法的图像可能与适用于使用深度学习算法的系统的图像不同。图2(左)显示了一个比图2(中)中照明和照明更好的图像更具挑战性的检测问题。图2(右)中较暗的背景进一步照亮了缺陷。在这种情况下,更好的图像设计将使任何检测系统的实施更加可靠。

设计成像系统是一个高度迭代的过程;最好的机器视觉解决方案随着时间的推移而发展并变得更加可靠和强大。围绕"完美"的照明和相机设计一个系统,然后提前构建它可能是不可能的。但是,通过对应用程序需求的彻底分析,以及一些成像组件和技术知识,开发人员可以生成良好的初始设计。

在开发软件系统时,集成商或 OEM 应收集示例图像(即使在最初几天内使用智能手机摄像头),以获取初始数据以验证软件的可行性。无论这种概念验证产生积极还是消极的结果,请记住,必须设计一个单独的、生产就绪的成像系统。智能手机摄像头的功能,例如快速移动到多个角度,在生产系统中可能不可行。使用静态成像设置处理具有代表性缺陷的样品部件可能有效,但仍必须考虑最终的成像系统配置。

使用"完美"映像测试软件可能无法真正代表生产环境中的实际功能。在设计生产就绪的成像系统时,深思熟虑的设计将产生长期的成功。在典型的过程中,应该:

  1. 考虑到零件的自动化和处理限制,为要成像的特征/对象/缺陷类型制定规范。考虑因素可能包括快速移动的零件、根据观察方向改变外观的零件以及显示眩光的零件。
  2. 收集有缺陷和可接受的零件样品。
  3. 设计一个初始成像系统,以满足要检测的零件的需求以及生产环境的物理约束和规格。
  4. 通过系统运行零件样本,并检查所有缺陷是否以适合目标软件解决方案的方式清晰地成像。
  5. 迭代步骤 3 和 4,直到性能令人满意。

在开发基于深度学习的成像系统或在现有机器视觉系统中实现深度学习功能时,必须采取类似的步骤,但一些关键考虑因素除外。下一节提供了在成像系统中开始深度学习的计划。

深度学习开发清单

在一些情况下,基于离散分析的机器视觉算法可能还不够。这些包括半导体和电子检查,钢材检查,焊接检查以及任何其他可能难以发现缺陷或"良好"零件或物品外观变化的检查任务。开发深度学习软件解决方案可能类似于构建传统的基于规则的系统,但一些关键考虑因素除外。这些包括:

部署干净数据 "垃圾进,垃圾出"是俗话。数据代表了滋养人工智能(AI)系统的食物,因此必须使用高质量的数据来训练深度学习模型。即使是构思最精巧的模型,在使用不准确或不完整的信息时也会产生低于标准的结果。高质量的深度学习软件解决方案应不断收集数据,同时允许使用工具系统地开发、部署、跟踪、维护和监视数据和每个软件组件,以帮助开发人员访问和控制 AI 模型演变。数据应包括有关产品、缺陷、标签或标签、数据一致性和相关模型的信息。

定义缺陷:在许多工业环境中,依赖人工检查员的公司通常会保留已定义零件缺陷的书面日志。在训练深度学习系统时,还必须预先定义这些缺陷,以便软件可以识别有缺陷的部件。

标记和标记:希望部署深度学习的公司必须准确地标记和标记数据。如果执行不一致,此步骤可能会导致 AI 模型不准确。通过清晰的缺陷定义和代表性数据集上清晰、明确的标签,公司可以使用少量数据继续进行可视化项目。内部专家必须协作分配、管理、执行和审查任务,以确保快速准确地标记,从而生成更准确的模型。

迭代改进:在部署到生产线之前,应针对专家级人工检查员评估最佳AI模型,以证明其价值,特别是如果该生产线可作为全球部署的测试。深度学习软件应该有工具来评估模型的性能,识别可能导致模型准确性损失的数据,以及评估新的数据集以改进和扩展现有模型,以达到成功指标。该软件还应具有防止过度拟合和评估训练模型性能的工具。

常见的陷阱和挑战

成像带来了许多挑战,因此系统集成商和OEM应该考虑一些最基本和最基本的陷阱,并在系统设计中预先解决这些问题。这些包括:

环境光:来自为成像系统设计的专用照明组件以外的光源的照明被视为环境照明,可能会给系统带来不一致和故障。在可能的情况下,必须通过屏蔽或光学过滤来控制阳光甚至头顶照明。在一个例子中,检查系统附近制造人员制服的颜色变化导致额外的反射光,从而影响检查结果。在大多数情况下,在成像系统设计中减轻环境光相对简单。

机械稳定性:出厂振动会使成像系统中的光学元件松动,相机位置、照明组件甚至镜头设置的变化都可能导致成像不可靠。

不同的外观:被检测部件的材料、设计和整体外观可能会发生变化,而视觉系统所有者却没有意识到这些变化。例如,一个制造工程团队决定更换螺钉上的金属合金,因为它更便宜。在功能上,零件的工作方式相同,但外观可能会改变。这种外部影响可能导致系统性能下降,有时甚至会悄无声息地下降。检查这种漂移的软件可以向运营团队发出信号,说明何时及时进行视觉系统维护。

机器视觉和深度学习的发展

视觉检测系统,无论是传统的还是基于深度学习的,都可以帮助所有类型的行业和公司跟上客户需求,同时确保产品质量,提高生产率并降低成本。无论您是希望自动化更多流程的公司,还是面向下一个系统的规范、设计和安装的集成商或 OEM,请考虑所有视觉检测系统都需要测试、迭代和持续改进的事实。

 

遵循最佳实践并考虑对比度、空间分辨率、图像一致性和曝光将有助于设计有效的成像系统。在深度学习方面,考虑到对干净数据、基于协议的标签、标记和标签以及迭代模型改进的需求,将有助于产生高质量的AI视觉检测系统。随着不断的改进,您的视觉检测系统将继续增加价值,并使您的业务在未来发展。

视觉魔法师

我还没有学会写个人说明!

暂无评论

发表评论

相关推荐