製造業におけるディープラーニングプロジェクトの始動 – パート4：ファクトリ受け入れテスト

製造業でディープラーニングプロジェクトを開始する最終段階では、システムがテスト環境で良好なパフォーマンスを示した後、チームはファクトリ受け入れテスト（FAT）手順を実行する必要があります。

FATの段階では、ビジョンシステムと人間の検査員が部品の良品、不良部品の分類を続け、専門家が曖昧な部分を検証して、正しいラベルを貼り付けます。そして、すべての統計情報を追跡し、人間とビジョンシステムの性能を比較するのに役立ちます。

統計的テストと再現性テスト 

ディープラーニングシステムがファクトリフロアでの受け入れテストに移行すると、チームは統計的検定を実行する必要があります。これは、長期間にわたって数千のデータポイントを取り込み、欠陥の種類と頻度を完全に把握するものです。この方法は、手動で行う検査ツールの検証と組み合わせることで、正確なプロジェクトのROIを算出するのに役立ちます。実際には、手動による検査ツール処理と並行してディープラーニングシステムを実行させ、1カ月後に画像を回収して結果を比較するというプロセスとなります。曖昧な点や矛盾があれば、担当の専門家に相談でき、専門家が正しく判断することで、正確な統計データを作成することができます。

このテスト手法により、多段階検査ツールのエンドツーエンドの検証、部品と欠陥の種類の複合テスト、費用測定、正確なROI計算を実施することができます。唯一の欠点は、統計的検定には大規模で代表的なデータセットが必要で、必ずしもすぐには利用できないということです。その上、画像の形成、製品の外観、グランドトゥルースのラベルの変更によって、数週間から数カ月分のデータが無効になることもあります。これは、留意しておくことが非常に重要です。

結局のところ、再現性テストは真の欠陥分布や真の欠陥の外観を反映するものではないため、企業はオーバーキル（過剰な欠陥検出）やアンダーキル（欠陥の見逃し）、またROIに関する正確な推測を取得することができません。再現性のあるテスト方法を導入せざるを得ない場合は、この点に留意してください。

検査ツールのレイヤーを追加する 

また、FATの段階でよく使われる方法として、2階層の検査ツールがあります。ここでは、ディープラーニングシステムが1次検査を行い、不明な点があれば人間の検査員に送って2次検査を行います。これにより、偽陽性や偽陰性を低減することができます。その結果、ディープラーニングの学習プロセスを改善することも可能です。

2階層のアプローチにより、企業は曖昧なカテゴリを修正することで、いつでもアンダーキルとオーバーキルを削減することができます。さらにこの方法は、不良部品の追加生産を抑制することでスクラップを削減すると同時に、システム全体の信頼性を向上させ、人件費を節約し、トレーニングセットに追加する困難な部品画像を特定することで継続的な改善を実現することができます。

継続的な改善

FATの結果が良好でも、ディープラーニングチームはデータを収集し、トレーニングセットに追加することでシステムを継続的に改善する必要があります。このデータには、良品、不良部品、境界線上の部品、新しい部品のバリエーション、ビジョンシステムと人間の検査員の間の相違点などの画像が含まれています。チームメンバーは、こうした画像を手動で選択し、トレーニングセットに追加して、新しいモデルを検証することができます。これにより、照明の変更、部品処理の調整、新しいコンポーネントなど、時間の経過に伴う変化にシステムを簡単に適応させることができるため、より優れた結果へとつながります。また、稀な不具合事例を含む新しい画像を入手するたびに、その画像をシステムに追加し、さらに微調整を行う必要があります。

製造企業が、初期計画、データ収集とグランドトゥルース、最適化、FATなど、すべてのプロジェクトフェーズを実施する場合、ディープラーニングシステムは非常に大きな価値を提供することができます。しかし、それで終わりではありません。チームは継続的にデータを収集し、モデルを改善し続けなければなりません。最終結果は、時間の経過とともに改善されていきます。

ディープラーニングを始めたばかりの方は、このシリーズの前回までの内容をぜひご覧ください。パート1：計画から始めて、パート2：データ収集とグランドトゥルースの確立に進み、パート3：最適化を確認して、アプローチを洗練させましょう。