开始制造业深度学习项目 - 第四部分：工厂验收测试
在制造环境中启动深度学习项目的最后阶段，待系统在测试环境中表现良好，团队就必须进行工厂验收测试 (FAT) 程序。
在 FAT 阶段，视觉系统和人工检查员继续将零件分类为合格或不合格，专家审查任何模糊之处并应用正确的标签。然后对所有统计数据进行跟踪，以帮助确定人工与视觉系统的表现。
统计和可重复性测试
一旦深度学习系统进入工厂车间进行验收测试，团队应该进行统计测试，这涉及在一段较长时间内收集数以千计的数据点，以采集所有缺陷类型和频率。这种方法可以与人工检测验证相结合，以帮助计算出准确的项目投资回报率。在实践中，这意味着让深度学习系统与人工检测过程平行运行，一个月后收集图像并比较结果。然后可以将任何模糊不清或不一致之处交给指定的专家，由专家做出正确的判断，以产生准确的统计数据。
这种测试方法使团队能够对多步骤检测进行端到端验证，对零件和缺陷类型进行复合测试，进行成本测量，并进行准确的投资回报率计算。唯一的缺点是，统计测试需要大量有代表性的数据集，而这些数据集并不总是现成的。除此之外，成像、产品外观或真值标签的变化可能会使数周或数月的数据失效，这一点非常重要，务必牢记。
统计测试的样本结果
最终，可重复性测试不能代表真实的缺陷分布或真实的缺陷外观，这使得公司无法获得关于过检、漏检和投资回报率的准确估计。如果您不得不部署可重复性测试方法，请牢记这一点。
添加检测层级
在 FAT 阶段部署的另一个常见方法是两级检测。在这种方法中，深度学习系统进行第一次检测，任何不确定因素都送到人工检查员那里进行二次检测。这有助于降低假阳性和假阴性结果。其结果也可以改善深度学习的训练过程。
只要属于模糊类别的零件可以返工，两级方法可以让公司减少漏检和过检。此外，这种方法通过限制生产额外的不合格零件来帮助减少废品，同时提高整个系统的置信度，这样可以节省劳动力成本，并通过识别具有挑战性的零件图像添加到训练集来实现持续改进。
在两级检测中，得分在“灰色区域”阈值或中间部分内的零件将转移给人工检测员进行进一步分析。
持续改进
即使在获得积极的 FAT 结果后，深度学习团队也必须收集数据并将其添加到训练集，从而持续改进系统。这些数据包括合格零件、不合格零件、边界零件和任何新的零件差异，以及视觉系统和人工检查员之间的差别。团队成员可以手动选择这些图像，并将它们添加到训练集中，以验证新模型。这样将使团队为自己的成功做好准备，因为系统可以更容易地适应随时间推移而产生的变化，例如由照明改变、零件处理调整和新部件引起的变化。而且，每当有了包含罕见缺陷案例的新图像，团队就应该将这些图像添加到系统中，以便进一步优化。
当制造型企业执行所有项目阶段时 - 包括初始规划、数据收集和确定真值、优化和 FAT - 深度学习系统可以提供巨大的价值。然而，这并没结束。团队必须继续收集数据，并不断改进模型。随着时间的推移，最终的结果会越来越好。
