开始制造业深度学习项目 - 第四部分:工厂验收测试

在制造环境中启动深度学习项目的最后阶段,待系统在测试环境中表现良好,团队就必须进行工厂验收测试 (FAT) 程序。
在 FAT 阶段,视觉系统和人工检查员继续将零件分类为合格或不合格,专家审查任何模糊之处并应用正确的标签。然后对所有统计数据进行跟踪,以帮助确定人工与视觉系统的表现。
统计和可重复性测试
一旦深度学习系统进入工厂车间进行验收测试,团队应该进行统计测试,这涉及在一段较长时间内收集数以千计的数据点,以采集所有缺陷类型和频率。这种方法可以与人工检测验证相结合,以帮助计算出准确的项目投资回报率。在实践中,这意味着让深度学习系统与人工检测过程平行运行,一个月后收集图像并比较结果。然后可以将任何模糊不清或不一致之处交给指定的专家,由专家做出正确的判断,以产生准确的统计数据。
这种测试方法使团队能够对多步骤检测进行端到端验证,对零件和缺陷类型进行复合测试,进行成本测量,并进行准确的投资回报率计算。唯一的缺点是,统计测试需要大量有代表性的数据集,而这些数据集并不总是现成的。除此之外,成像、产品外观或真值标签的变化可能会使数周或数月的数据失效,这一点非常重要,务必牢记。
统计测试的样本结果
最终,可重复性测试不能代表真实的缺陷分布或真实的缺陷外观,这使得公司无法获得关于过检、漏检和投资回报率的准确估计。如果您不得不部署可重复性测试方法,请牢记这一点。
添加检测层级
在 FAT 阶段部署的另一个常见方法是两级检测。在这种方法中,深度学习系统进行第一次检测,任何不确定因素都送到人工检查员那里进行二次检测。这有助于降低假阳性和假阴性结果。其结果也可以改善深度学习的训练过程。
只要属于模糊类别的零件可以返工,两级方法可以让公司减少漏检和过检。此外,这种方法通过限制生产额外的不合格零件来帮助减少废品,同时提高整个系统的置信度,这样可以节省劳动力成本,并通过识别具有挑战性的零件图像添加到训练集来实现持续改进。
在两级检测中,得分在“灰色区域”阈值或中间部分内的零件将转移给人工检测员进行进一步分析。
持续改进
即使在获得积极的 FAT 结果后,深度学习团队也必须收集数据并将其添加到训练集,从而持续改进系统。这些数据包括合格零件、不合格零件、边界零件和任何新的零件差异,以及视觉系统和人工检查员之间的差别。团队成员可以手动选择这些图像,并将它们添加到训练集中,以验证新模型。这样将使团队为自己的成功做好准备,因为系统可以更容易地适应随时间推移而产生的变化,例如由照明改变、零件处理调整和新部件引起的变化。而且,每当有了包含罕见缺陷案例的新图像,团队就应该将这些图像添加到系统中,以便进一步优化。
当制造型企业执行所有项目阶段时 - 包括初始规划、数据收集和确定真值、优化和 FAT - 深度学习系统可以提供巨大的价值。然而,这并没结束。团队必须继续收集数据,并不断改进模型。随着时间的推移,最终的结果会越来越好。