开始制造业深度学习项目 - 第四部分：工厂验收测试
在制造环境中启动深度学习项目的最后阶段，待系统在测试环境中表现良好，团队就必须进行工厂验收测试 (FAT) 程序。
在 FAT 阶段，视觉系统和人工检查员继续将零件分类为合格或不合格，专家审查任何模糊之处并应用正确的标签。然后对所有统计数据进行跟踪，以帮助确定人工与视觉系统的表现。
统计和可重复性测试
一旦深度学习系统进入工厂车间进行验收测试，团队应该进行统计测试，这涉及在一段较长时间内收集数以千计的数据点，以采集所有缺陷类型和频率。这种方法可以与人工检测验证相结合，以帮助计算出准确的项目投资回报率。在实践中，这意味着让深度学习系统与人工检测过程平行运行，一个月后收集图像并比较结果。然后可以将任何模糊不清或不一致之处交给指定的专家，由专家做出正确的判断，以产生准确的统计数据。
这种测试方法使团队能够对多步骤检测进行端到端验证，对零件和缺陷类型进行复合测试，进行成本测量，并进行准确的投资回报率计算。唯一的缺点是，统计测试需要大量有代表性的数据集，而这些数据集并不总是现成的。除此之外，成像、产品外观或真值标签的变化可能会使数周或数月的数据失效，这一点非常重要，务必牢记。
统计测试的样本结果
最终，可重复性测试不能代表真实的缺陷分布或真实的缺陷外观，这使得公司无法获得关于过检、漏检和投资回报率的准确估计。如果您不得不部署可重复性测试方法，请牢记这一点。
添加检测层级
在 FAT 阶段部署的另一个常见方法是两级检测。在这种方法中，深度学习系统进行第一次检测，任何不确定因素都送到人工检查员那里进行二次检测。这有助于降低假阳性和假阴性结果。其结果也可以改善深度学习的训练过程。
只要属于模糊类别的零件可以返工，两级方法可以让公司减少漏检和过检。此外，这种方法通过限制生产额外的不合格零件来帮助减少废品，同时提高整个系统的置信度，这样可以节省劳动力成本，并通过识别具有挑战性的零件图像添加到训练集来实现持续改进。
在两级检测中，得分在“灰色区域”阈值或中间部分内的零件将转移给人工检测员进行进一步分析。
持续改进
即使在获得积极的 FAT 结果后，深度学习团队也必须收集数据并将其添加到训练集，从而持续改进系统。这些数据包括合格零件、不合格零件、边界零件和任何新的零件差异，以及视觉系统和人工检查员之间的差别。团队成员可以手动选择这些图像，并将它们添加到训练集中，以验证新模型。这样将使团队为自己的成功做好准备，因为系统可以更容易地适应随时间推移而产生的变化，例如由照明改变、零件处理调整和新部件引起的变化。而且，每当有了包含罕见缺陷案例的新图像，团队就应该将这些图像添加到系统中，以便进一步优化。
当制造型企业执行所有项目阶段时 - 包括初始规划、数据收集和确定真值、优化和 FAT - 深度学习系统可以提供巨大的价值。然而，这并没结束。团队必须继续收集数据，并不断改进模型。随着时间的推移，最终的结果会越来越好。
Manager, Global Content Marketing, Cognex
A self-proclaimed marketing maverick, Mary has experience in a variety of industries and marketing activities. Her career began in the world of defense and aerospace, then shifted to collaborative robotics and now machine vision. She drives brand awareness, nurtures customer relationships, and elevates the impact of sales through compelling content. Outside of the office, Mary enjoys baking (and eating) desserts, running outdoors, and exploring new places. She is also a self-published author of a children’s book about her dog, Doma.
