深度学习缺陷探测如何帮助汽车和其他行业实现自动化检测

深度学习是探测工厂自动化应用中有高度复杂性和可变性、特别是非结构化场景中的外观缺陷和其他有害异常的理想工具。背景有复杂图案或高度位置差异的场景会给传统机器视觉检测系统带来困难。零件间的自然差异难以预测。当然，考虑到材料的延展性、柔性和易变形的特性，即使是一致的背景，视觉外观也可能有很大差异。塑料和编织材料尤其容易出现这种问题。

如果缺陷类型复杂并有很多位置差异，制造商就无法使用较传统的检测方法，这是因为编程会太费时、复杂和繁琐。探测缺陷时，如果视觉外观有差异，不管原因是成像问题（眩光），还是材料有变化和变形的性质（例如织物），而且缺陷有很多不同的形状和外形，就会难以进行直接搜索。

在这种情况下，制造商可以使用深度学习来识别偏离正常外观并有缺陷的所有对象。对于需要识别某些导致废品的缺陷且同时忽略其他缺陷的情况，训练工程师可以使用标记的“合格”和“不合格”图像训练参考模型，然后即可在忽略正常差异的情况下识别各种缺陷。

无论哪种情况，这种方法都简单直接，而且不需要视觉专业经验。检测应用工程师只需收集一系列有代表性的训练图像并发送给系统即可。然后深度学习解决方案会使用和人类相似的智能来开发参考模型，然后工程师可根据需要对其进行验证和精调，直到模型的判断可以和最好的人类检测员媲美。然后系统可以在运行时精确并重复性地分析检测图像，探测异常和外观缺陷。

在下面的示例中，我们将探索康耐视深度学习缺陷探测工具在汽车、电子、包装和生命科学行业中的价值主张。

汽车行业缺陷探测

汽车零件有很多有挑战性的表面。其中对自动化探测系统来说最麻烦的就是金属表面可能有很深的纹理、粗糙而且多孔以及内部座椅和气囊中使用的织物。

织物在纱线粗细、织纹和图案方面有天然的可变性。对于安全气囊检测，查找缝线和接缝的缺陷是关键，因为这可能会对其效果产生灾难性的影响。挑战是双面的。首先，天然织物很复杂，其外观也会根据拉伸情况和拍摄光线而有所变化。其次，最麻烦的，就是缝线或接缝缺陷的数量；使用规则算法直接搜索每一个缺陷不但繁琐，而且这几乎是不可能的。这时可以无人监督的方式对气囊织物的正常外观进行训练，再由检测系统识别潜在缺陷。

深度学习工具可以通过神经网络归纳概括织物的可变性质，从而在忽略织造图案、纱线特性、颜色和其他可接受瑕疵的自然变化的同时，识别所有异常外观。偏离这些正常变化的任何异常，例如意外的针迹、织布漂浮、经纱或纬纱中的回线、钩刺或孔眼，都会被系统标记为缺陷。这样，无需提前定义缺陷库即可完成织物检测。这种深度学习新方式为汽车织物的自动化质量控制带来了和人类视觉检测一样的效果。

电子行业缺陷探测

除了 OLED 显示屏制造，没有其他电子行业领域有比半导体更严格的质量管理和缺陷探测要求。不但刮擦、缠绕、弯曲或缺失引脚会导致自动报废，即使最表浅的缺陷也是芯片的极小误差容限所不能接受的。

但是，如果将这么多缺陷类型直接编程到规则式机器视觉算法中，其效率是非常低下的。如果每个缺陷都是“功能性”异常，那么与其将所有异常芯片或引线标记为缺陷，还不如直接告诉检测系统什么是完美的半导体芯片或集成电路 (IC) 引线。此任务非常适合无人监督模式下运行的深度学习检测工具来完成。在此模式下，软件的神经网络会归纳概括芯片的正常外观—包括金属眩光背景造成的感知差异—然后将缺失、损坏、或磨损的组件标记为缺陷。

制造商得到的好处是立竿见影的：不需要视觉专家或应用开发人员，不需要编程不可预测的缺陷，而且有更高的缺陷探测率和后续产量。

包装行业缺陷探测

不仅金属表面涉及识别杂乱背景上划痕和凹陷等外观缺陷的难题。与使用金属板的难题相同，在食品和饮料以及消费产品中，包装使用有光泽的塑料或陶瓷材料。这些表面有相同的反光和镜面眩光问题。在这样的条件下，传统机器视觉难以区别图像间的细微差异。

幸运的是，深度学习神经网络可以不受眩光影响而看到东西。这也是忽略正常的表面缺陷并识别真正缺陷的最佳方式。例如面霜的陶瓷瓶，瓶子间的固有差异并不总是导致报废的直接原因。影响瓶子用途的“功能性”异常会导致报废，但外观异常可能不会，这取决于制造商的需要和偏好。

康耐视深度学习以经济有效、易于部署的方式将机器视觉检测和人类检测的优势结合到了一起。为此，应用或质量工程师使用一系列有代表性的“合格”和“不合格”陶瓷瓶图像训练深度学习软件。例如“不合格”瓶子可能是有深凹陷或长划痕的。软件根据这些图像学习陶瓷铸造表面的天然形状和表面纹理，同时忽略可能因光线造成的自然差异，标记出可接受范围之外的图像。

这样，康耐视深度学习将人类观察细微差异的能力与自动化计算机系统的可靠、一致和速度相结合，为包装行业提供了有效的缺陷探测解决方案。

生命科学行业缺陷探测

在计算机辅助诊断 (CAD) 的帮助下，现在的放射科医生的角色正在迅速发生着变化。以前寻找肿瘤等生物学异常都需要人类的判断。其位置、以及呈现方式都可能有很大差异。有时候，与识别具体的异常相比，放射科医生可能对偏离正常、健康的身体外观的轻微差异更感兴趣。

人类在检查 x 射线或 MRI 结果方面非常有天赋，因为人类能非常自然地形成各种呈现方式的模型，区分“正常”和“异常”。但是放射科医生的工作效率是有上限的。另外即使是最专业的放射科医生，也会遇到不熟悉且在其经验范围之外的图像特征。但是，错过潜在的肿瘤或误诊的风险实在太大了。

在这种情况下，可以利用大数据的力量。深度学习软件工具可以定位感兴趣区域，例如特定器官或特定椎骨，即使在容易混淆或对比度差的背景下也能如此。AI 算法可使用一系列已标记的训练图像生成器官正常外观的参考模型，包括各种差异。根据标记的“好”和“坏”示例图像，深度学习检测系统可以学习考虑图像是异常还是正常。这样，参考模型可以标记出与正常的健康生理有偏差的生物学异常，然后可根据需要由放射科医生进一步检查。

制造商依靠康耐视深度学习缺陷探测工具来检测各种表面（包括纸张、玻璃、塑料、陶瓷和金属）上的异常和美观缺陷。无论是划痕、凹陷、印刷错误还是对齐错误，康耐视深度学习只要学习了对象的正常外观以及可接受的自然变化即可进行识别。对于大型表面，缺陷探测工具还可以先学习目标的各种外观，然后分段定位各个目标区域的缺陷。