视觉检测

视觉检测就是用机器代替人眼来做测量和判断。视觉检测是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。

简介

机器视觉检测的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。

典型结构

一个典型的机器视觉系统包括以下五大块：

照明

照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白炽灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

镜头

FOV（Field of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）

镜头选择应注意：

①焦距②目标高度③影像高度④放大倍数⑤影像至目标的距离⑥中心点/节点⑦畸变

视觉检测中如何确定镜头的焦距

为特定的应用场合选择合适的工业镜头时必须考虑以下因素：

·视野-被成像区域的大小。

·工作距离(WD)-摄像机镜头与被观察物体或区域之间的距离。

·CCD-摄像机成像传感器装置的尺寸。

·这些因素必须采取一致的方式对待。如果在测量物体的宽度，则需要使用水平方向的CCD规格，等等。如果以英寸为单位进行测量，则以英尺进行计算，最后再转换为毫米。

参考如下例子：有一台1/3”C型安装的CDD摄像机（水平方向为4.8毫米）。物体到镜头前部的距离为12”（305毫米）。视野或物体的尺寸为2.5”（64毫米）。换算系数为1”=25.4毫米（经过圆整）。

FL=4.8毫米x305毫米/64毫米

FL=1464毫米/64毫米

FL=按23毫米镜头的要求

FL=0.19”x12”/2.5”

FL=2.28”/2.5”

FL=0.912”x25.4毫米/inch

FL=按23毫米镜头的要求

注：勿将工作距离与物体到像的距离混淆。工作距离是从工业镜头前部到被观察物体之间的距离。而物体到像的距离是CCD传感器到物体之间的距离。计算要求的工业镜头焦距时，必须使用工作距离

相机

按照不同标准可分为：标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同分辨率相机：线扫描CCD和面阵CCD；单色相机和彩色相机。

图像采集

图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。

比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。

视觉处理器

视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以视觉处理器用的较少了。

机器选型

在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显，。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。

光源选型基本要素：

对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。

亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。

鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。

好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了，剩下来的工作就容易多了。具体的光源选取方法还在于试验的实践经验。

特征提取辨识

一般布匹检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些：

1．图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。

2．杂质的形状难以事先确定。

3．由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。

4．在流水线上，对布匹进行检测，有实时性的要求。

由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。

Color检测

一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）篮（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。

Blob检测

根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。

Blob分析（BlobAnalysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（BinaryThresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。

结果处理和控制

应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。

根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排；可以获知内布匹的质量情况等等。

应用现状

在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还用于其他各个领域。视觉检测

2000年来，零售商和消费者对可导致健康风险或增加零售商成本的不合格产品越来越没有忍耐力。如果视觉检测机制正确执行和管理，就可成为强大的工具用于：

-保护制造商、零售商和消费者的利益，不会出现贴错标签和无法识别过敏原标签的包装

-有助于保护品牌声誉

-遵守行业最佳实践指南和零售商标准

研究显示，65%的消费者在购买产品时会参考包装。如果包装贴错标签或标签被损坏，隐藏潜在的有害成分，这会导致产品召回、罚款、甚至是法律诉讼。有调查表明食品行业中55%的召回都是由不正确的标签所导致的，食品过敏原就是一个十分普遍的例子。

视觉检测是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。自起步发展至今，已经有20多年的历史，其功能以及应用范围随着工业自动化的发展逐渐完善和推广，其中特别是目前的数字图像传感器、CMOS和CCD摄像机、DSP、FPGA、ARM等嵌入式技术、图像处理和模式识别等技术的快速发展，大大地推动了机器视觉的发展。简而言之，机器视觉解决方案就是利用机器代替人眼来作各种测量和判断。

发展历程

1950年代，图像处理成为机械工业的一个检测项目，视觉检测作为一项生产检测机制诞生了；

1960-1970年代，导弹和航天工业兴起，人工检测无法实现对导弹等精密工业品的检测，视觉检测机开始出现；

1980年代，机械视觉检测被应用于当时方兴未艾的半导体工业；

1990年代，智能相机的出现使视觉检测技术得到飞速发展，推动了制造业的视觉应用；

2000年，数码相机的发明和普及，使得老式的帧式抓取相机被淘汰，视觉检测的成本大大降低；

2005年，梅特勒-托利多公司推出了世界上首台人机界面良好的视觉检测机。从此，工人在生产线上操作视觉检测设备就像操作电脑一样简单。

今天，欧盟、美国等国家已通过法规明确规定了产品制造商应该进行的视觉检测项目及标准。国内外也有很多厂商设计出了高度智能的视觉检测解决方案。越来越多的企业也开始在自己的生产线上安装视觉检测系统。总之，视觉检测技术和机制已经得到了广泛的推广。

工作原理

视觉检测涉及拍摄物体的图像，对其进行检测并转化为数据供系统处理和分析，确保符合其制造商的质量标准。不符合质量标准的对象会被跟踪和剔除。

掌握视觉检测系统的工作原理对评估该系统对公司运作所做的贡献十分重要。必须充分在设置视觉检测系统时所涉及到的变量。正确设置这些变量，采用合适的容差，这对确保在动态的生产环境中有效而可靠地运行系统而言至关重要。如果一个变量调整或设计不正确，系统将连续出现错误剔除，证明使用不可靠。^[1]

结构组成

图像部件

摄像机捕捉被检测物体的电子图像，然后将其发送到处理器进行分析。电子图像被转换成数字，表示图像最小的部分，即像素。图像显示的像素数量称作分辨率。图像的分辨率越高，包含的像素数量越多，进行检测时，图像的像素数量越多，检测结果越准确。

摄像机

视觉检测系统的摄像机有三个变量需要调整，以优化捕捉到的图像。它们是光圈、对比度和快门速度。

照明部件

正确的照明对帮助创建有效检测所需的对比度很关键。当对一件产品的正确系统设置进行评估时，设计师会花费相当多的时间用来确定检测所需的最佳照明。照明解决方案的类型、几何形状、颜色和强度应当提供尽可能强的对比。

软件工具

视觉检测系统使用软件处理图像。软件采用算法工具帮助分析图像。视觉检测解决方案使用此类工具组合来完成所需要的检测。常用的包括，搜索工具，边界工具，特征分析工具，过程工具，视觉打印工具等。

解决过程

1、工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像采集部分发送触发脉冲，可分为连续触发和外部触发。

2、图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲。

3、摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。

4、摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。

5、另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配。

6、摄像机曝光后，正式开始一帧图像的扫描和输出。

7、图像采集部分接收模拟视频信号通过A/D将其数字化，或者是直接接收摄像机数字化后的数字视频数据。

8、图像采集部分将数字图像存放在处理器或计算机的内存中。

9、处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值（合格或不合格）。

10、处理结果控制流水线的动作、进行定位、纠正运动的误差等。

11、通过Excel等方式打印缺陷输出结果（生产批号、缺陷位置、坐标、面积、类别、产生时间等信息）

从上述的工作流程可以看出，机器视觉解决方案是一种比较复杂的系统。因为大多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。在某些应用领域，例如机器人、飞行物体导制等，对整个系统或者系统的一部分的重量、体积和功耗都会有严格的要求。

内容

所有自动生产线的目标都是零剔除。鉴于当今的高速技术和潜在的人为错误，这个目标很难实现。视觉检测可以识别的典型缺陷包括：

•标签缺陷

•封口和盖顶缺陷

•产品与包装完整性缺陷

•打印缺陷

•容器缺陷

一个完善的视觉检测机制应该包括以下检测项目：

检测项目	检测内容描述
全瓶检测	合适的填充量；盖存在与否、高度、颜色、是否歪斜；标签 存在与否、位置以及识别。
装箱内部检测	产品存在与否、放置、方向、计数和盖的正确性。
装箱外部检测	箱子装饰、ID和封盖位置；打印产品代码和日期/批号。
正确的盖位置检测	盖检测：存在与否、高度、倾斜度、颜色、安全带完整性。
产品ID验证	确保任何产品的ID代码存在、可读、正确。

展开表格

优势

1、非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性。

2、具有较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围。

3、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务。

4、利用了机器视觉解决方案，可以节省大量劳动力资源，为公司带来可观利益。

应用

1.视觉检测在印刷行业的应用

利用在线/离线的视觉系统发现印刷过程中的质量问题，如切模，堆墨、飞墨、缺印/浅印、套印不准、颜色偏差等，同时在线设备可将颜色偏差和墨量多少的检测结果反馈给PLC,控制印刷设备的供墨量，对供墨量进行在线调节，提高印刷质量和效率。

2.视觉检测在PCB板检测中的应用

利用视觉系统对PCB裸板进行检测，检测板上的导线和元件的位置和间距错误、线路和元件的尺寸错误、元件形状错误、线路的通段、板上污损等。

3.视觉检测在零件检测中应用

机器视觉检测可以轻松应对金属零件生产的质量控制，如硬币、汽车零部件、连接器等。通过图像处理的方法，发现金属零件表面的划伤、残缺、变色、粘膜等缺陷，并指导机械传动系统将残缺品剔除，大大提高了生产效率。同时对缺陷类型的统计分析能够指导生产参数的调整，提高产品质量。

4、视觉检测在汽车安全中的应用

对于大多数人来说，还是在靠主观思想和意识判断开车过程中的突发事件，随着安全事故频频多发，安全理念已备受人们关注，数字化被用作汽车安全监测系统成为主流，也备受业内热议。

具不完全统计，50%的交通安全事故起源驾驶员意识不清醒从而酿成车祸。设想有没有一种能基于物联网的检测系统，即：检测驾驶员是否意识清醒，并提出警告，提前阻止安全事故发生呢？答案是肯定的，目前业内已经有采用物联网数字化技术实现驾驶员精神状况的检测系统，它基于车联网应用的，以适应行驶安全检测的新需求。这种数字化的系统的应用融合姿态信息的多姿态人脸检测方法，基于生物特征的头部姿态估计方法，融合驾驶员自身多种生物特征的疲劳驾驶模型，将极大提高疲劳驾驶检测的准确性和可靠性。

这类数字化系统的工作原理就是通过视觉传感器对人的眼睑眼球的几何特征和动作特征、眼睛的凝视角度及其动态变化、头部位置和方向的变化等进行实时检测和测量，建立驾驶人眼部头部特征与疲劳状态的关系模型，研究疲劳状态的多参量综合描述方法；同时研究多元信息的快速融合方法，提高疲劳检测的可靠性和准确性，从而研制稳定可靠的驾驶员疲劳监测系统。它检测的方法很多，比如：人脸快速检测方法、疲劳程度检测方法、疲劳驾驶问题检测等等。

目前，国内汽车安全数字化服务商很多，但开发基于物联网数字化的视觉疲劳检测系统，武汉华信数据系统有限公司首次填补国内基于车联网的驾驶员疲劳检测系统的空白，并与多家知名汽车制造商进行合作。汽车行业的安全保障始终是一个不变的话题，只有想顾客之所想，顺应汽车行业发展的，才是汽车行业未来发展的宏源理念！

应用案例

在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成，在现代化流水线后面常常可看到很多的检测工人来执行这道工序，给企业增加巨大的人工成本和管理成本的同时，却仍然不能保证100%的检验合格率（即“零缺陷”）。对布匹质量的检测是重复性劳动，容易出错且效率低。

流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上，所有布匹的颜色、及数量都要进行自动确认（以下简称“布匹检测”）。采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中，用人工检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

欧莱雅实现产品包装过程标签零缺陷

巴黎欧莱雅的营销和包装专家的目标是使进入市场的欧莱雅包装达到零缺陷目标。了解欧莱雅是如何利用我们的标签视觉成像检测解决方案实现这一目标的。

遗漏、错误、受损和外观不美观的标签不仅会影响产品的展示形象，而且会对品牌持有者在市场中的形象造成长期损害。欧莱雅营销与包装专家的目标是使进入市场的欧莱雅包装实现零缺陷目标。公司试图通过利用多种灰度检测解决方案实现这一目标，但是结果却不尽如人意，尤其是对于诸如其VivePro®系列优质洗发精和护发素之类的产品。

这些产品采用具有“无标签效果”的透明标签材料进行贴标。但这却使得灰度系统难以准确寻找到标签的边缘，从而无法检测其是否位置不当和起皱，结果导致系统出现误允许缺陷瓶子流入市场的结果。

于是公司向梅特勒-托利多CI-Vision求助，帮助寻找这一问题的解决方案。CI-Vision推荐使用完美的双摄像机彩色解决方案，这套解决方案使用彩色摄像机及其随配软件更清晰地识别与检测透明标签，以及检查每只瓶子上打印的日期/批号。此外，一台条形码阅读器可确认每个包装上的代码，这样可无需使用附加摄像机。欧莱雅包装生产线经理要求欧莱雅市场部在设计包装时，将各个品牌的标签与代码放置在一致的位置，从而帮助简化了检测工作。

CI-Vision解决方案还包括培训功能：操作人员只需将样品包放在摄像机前方，然后激活“培训”功能，即可将用于检测新包装的系统准备好。这样，当欧莱雅多产品高速生产线进行转换时，无需停机即可完成照相机移动或系统调节。

针对这一项目，梅特勒-托利多CI-Vision提供了一种完整的视觉成像检测解决方案，其中包括设备安装和调试、培训、文件记录与维护支持。

欧莱雅通过采用这种新型检测解决方案，不仅可实现其质量目标，而且可通过大幅缩短转换时间提升生产线工作效率。公司现已将视觉检测从最初的VivePro生产线扩大应用至不同生产厂的其他许多生产线中。

参考资料

[1] 微电子产品视觉检测中关键技术研究_(定稿) - 道客巴巴 · 道客巴巴[引用日期2021-08-05]