使用深度学习装配验证工具识别各种组件或零件配置

机器视觉已经取得了令人难以置信的进步，先进的算法可以通过最细微的特征或标记来区分视觉上相似的零件。检测特异性和准确性以及编程和训练的前期投资之间有一个自然的权衡。毫无疑问，通过开发线性规则来指导计算机区分一个零件的成百上千或上万种变化会非常耗时。

而且，这种方法还不一定万无一失。

有对比图案和镜面眩光的非结构化和/或高度复杂的场景可能会无法编程，特别是需要识别大量各不相同的组件并有数不清的配置的装配验证应用。即使零件一致且制造质量良好，装配验证检测仍然是最难自动化的领域之一。这是因为，虽然机器视觉系统可以忽略缩放、旋转或姿势变形导致的零件外观变化，但是复杂、混乱的表面纹理和照明差之类的条件仍会带来非常严峻的挑战。机器视觉系统难以鉴别视觉上非常相似的部件之间的差异和偏差。

如果组件或子组件有很多偏差和变化，系统的负担就会不断增加，最终会难以编程或鉴别所有这些差异。将这些检测交给人工检测员则会降低效率且不够灵活，并且可能因为疲劳以及检测员的个人偏见而出错。

深度学习图像分析工具是实现最困难的装配验证检测自动化的一种方式。

汽车行业装配验证

汽车行业各个装配阶段中的很多物体和场景都是无法预测的，并且呈现给相机的方式也不一样。最终装配对于成品车来说是一个非常棘手的验证过程。这是因为传统机器视觉开发过程中使用的逐步过滤和规则式算法难以解决这个问题。

随着缺陷库的增长和配置变化的增加，这些算法的维护也会变得越来越难以完成。最终装配验证会考验编程的极限，因为它涉及多个变化的变量，例如照明、颜色、曲率和视野，这些对于计算机和相机而言会很难区别。这就是通常仍由人类检测员对汽车装配最终阶段进行外观检查的原因。虽然人类检测员即使在变化的照明条件下也能熟练地识别生产线上各种车型的各种零件和特征，但人类检测员仍然会出现不一致的情况。

但是，深度学习软件能够可靠地建立一个参考特征库（使用所述颜色和组件）然后在装配完成的汽车照片上定位和识别它们。这样，再添加一个功能就可以轻松地自动化最终装配验证检查了：定位并识别组件后，软件可以提供一个“合格”或“不合格”结果。

电子行业装配验证

电子制造商正在为装配验证应用中需要高度判断能力的流程引入深度学习。训练检测系统发现和验证多个组件是否存在及位置是否正确会非常费时间。对于传统机器视觉来说，检测有很多紧密靠近甚至相接的小组件的图像会非常复杂，甚至不可能。

保险丝盒等电子硬件装配完成后，必须对其是否有缺陷、污染、功能性缺陷、或其他异常进行检测，以免影响性能或安全性。必须在将保险丝盒装配到设备或发送给客户前发现这些错误。幸运的是，深度学习软件专门针对这种复杂的条件进行了优化，包括低对比度或拍摄质量差的图像。

为了最终能验证保险丝盒是否已装配完成，深度学习工具先要使用标记了各种零件的位置的图像学习识别各个电子组件。然后，根据这些信息，工具的神经网络会建立各个组件的参考模型：这包括其正常大小、形状、表面特征，以及它们在盒子中的常规位置。运行时，工具对盒子中包含组件的所有区域分段，以便正确地识别组件是否存在、类型是否正确。

包装行业装配验证

考虑确保包装冷冻餐装配正确的验证任务。多种食品盘的包装从外侧看起来可能相似，但里面的商品组合却不一样。另外，所有包装可能都有相同的食物成分，但它们的布局或份量可能有变化。

对于传统的机器视觉来说，编程食品成分的数量以及各种配置和布局费时而且费力，这主要是因为仅使用一个工具难以在一张图像中自动定位和识别多个特征。随着例外和缺陷库的增长，所有最终包装装配验证应用中的高度复杂的场景都会变得难以控制。

深度学习图像可以学习各个食品成分的细微外观差异以及可接受的布局，使食品盘的装配验证变得非常简单。使用各个成分的正常外观进行训练后，软件即可为需要定位的各种食物建立一个完整的数据库。运行时，检测图像可拆分成多个区域，然后软件可以检查食品是否存在，并验证它们是不是正确的类型。

对于包装布局有变化的情况，软件也足够灵活，允许用户训练多种配置。配置发生变化后，可以调整深度学习软件继续查找各个成分并确认它是不是正确的类型。通过这种方式，用户仅使用一个工具即可自动化包装食品盘或冷冻食品的包装验证。

消费电子行业装配验证

装配移动设备面板或模块时，有时候会发生松动的螺丝等异物掉到生产线上相邻模块的外壳里的情况。检测夹杂物有重要的意义，可以避免它们在最终装配过程中造成堵塞或损坏。碎屑通常都很小，而且外观只有轻微差异—无论是因为灯光对比度弱、方向变化，还是因为金属眩光—均会使自动化检测系统难以处理。

同时，这种条件还会使检测系统难以判断预期组件是否在正确的外壳中。最后，移动设备面板中有很多紧密相邻的零件，检测系统可能难以区分各个组件。

使用规则式算法编程所有这些差异非常费时而且容易出错，更不用说现场维护极为困难。幸运的是，深度学习图像分析软件可以学习面板或模块的各个组件的正确成品外观，从而识别螺丝等位置错误的零件。使用有碎屑或组件缺失的“不合格”模块图像、以及模块装配正确的已知“合格”图像进行训练后，康耐视深度学习工具即可制作出挑战条件下难以处理的移动设备面板的参考模型，并像人类检测员一样可靠地识别缺陷面板，还有自动化系统的速度和可靠性。

传统上，装配验证一直都需要人类检测员来完成。但是，在每分钟都需要可靠并重复性地检测成百上千或上万零件的生产线上，人类的检测功能并不够用。现在深度学习工具可以填补这个空缺。

康耐视深度学习使用标记图像进行训练（无需软件开发）然后即可正确地定位和识别大小、形状和表面特征不同的零件。克服这个障碍后，确认是否有正确的组件且布局或配置是否正确就变得简单了，而且，与传统视觉不同的是，无需额外编写逻辑。