关键要点
了解制造业中深度学习系统的验证与优化核心策略：
- 统计测试： 收集数千个数据点以验证缺陷检测效果并计算 ROI，确保系统性能稳定可靠。
- 双重检测： 将深度学习与人工审查相结合，以减少误报、提高检测精度并增强训练数据集。
- 持续改进： 定期用新数据更新训练集，以适应各类变化，确保系统长期保持可靠性能和效率。
在制造业深度学习项目启动的最后阶段，待系统在测试环境中表现良好，团队就必须执行工厂验收测试 (FAT) 程序。
在 FAT 阶段，视觉系统和人类检查员继续将零件分类为合格或不合格，专家审查任何模糊之处并应用正确的标签。然后对所有统计数据进行跟踪，以帮助确定人类与视觉系统的表现。
统计和可重复性测试
一旦深度学习系统进入工厂车间进行验收测试，团队应该进行统计测试，这涉及在一段较长时间内收集数以千计的数据点，以采集所有缺陷类型和频率。这种方法可以与人工检测验证相结合，以帮助计算出准确的项目投资回报率。在实践中，这意味着让深度学习系统与人工检测过程平行运行，一个月后收集图像并比较结果。然后可以将任何模糊不清或不一致之处交给指定的专家，由专家做出正确的判断，以产生准确的统计数据。
这种测试方法使团队能够对多步骤检测进行端到端验证，对零件和缺陷类型进行复合测试，进行成本测量，并进行准确的投资回报率计算。唯一的缺点是，统计测试需要大量有代表性的数据集，而这类数据集并非总能即时获取。此外，成像技术、产品外观或真实标签的变更，可能会使数周或数月的数据失效，这一点务必牢记。
最终，可重复性测试不能代表真实的缺陷分布或真实的缺陷外观，这使得公司无法获得关于过检、漏检和投资回报率的准确估计。如果您不得不部署可重复性测试方法，请牢记这一点。
增设检测层级
在 FAT 阶段部署的另一个常见方法是双重检测。在这种方法中，深度学习系统进行第一次检测，任何不确定因素都送到人类检查员那里进行二次检测。这有助于降低假阳性和假阴性结果。其结果也可以改善深度学习的训练过程。
只要属于模糊类别的零件可以返工，两级方法可以让公司减少漏检和过检。此外，这种方法通过限制生产额外的不合格零件来帮助减少废品，同时提高整个系统的置信度，这样可以节省劳动力成本，并通过识别具有挑战性的零件图像添加到训练集来实现持续改进。
持续改进
即使在获得积极的 FAT 结果后，深度学习团队也必须收集数据并将其添加到训练集，从而持续改进系统。这些数据包括合格零件、不合格零件、边界零件和任何新的零件差异，以及视觉系统和人类检查员之间的差别。团队成员可以手动选择这些图像，并将它们添加到训练集中，以验证新模型。这样将使团队为自己的成功做好准备，因为系统可以更容易地适应随时间推移而产生的变化，例如由照明改变、零件处理调整和新部件引起的变化。而且，每当有了包含罕见缺陷案例的新图像，团队就应该将这些图像添加到系统中，以便进一步优化。
当制造型企业执行所有项目阶段时 - 包括初始规划、数据收集和确定真值、优化和 FAT - 深度学习系统可以提供巨大的价值。然而，这并不是结束。团队必须继续收集数据，并不断改进模型。随着时间的推移，最终的结果会越来越好。
如果您刚刚开始深度学习之旅，请务必查看本系列的前期内容。首先开始第一部分：规划，接着进入第二部分：收集数据和建立真值，然后再探索第三部分：优化，以完善您的实施方法。