ディープラーニングプロジェクトにおけるデータ収集とグランドトゥルースの確立 |

要点

ディープラーニングプロジェクトにおいてデータを準備し、グランドトゥルースを定義するために不可欠なベストプラクティスについて学ぶ：

ディープラーニングモデルを効果的にトレーニングするために、画像を収集し、データを処理する。
信頼できる専門家を活用して、グラウンドトゥルースを確立し、データの正確性を確保する。
信頼性の低い結果を減らすために、トレーニング中は偽造欠陥を避ける。
製品の変更に対応し、モデルの性能を維持するために、データラベル付けを継続的に更新する。

絶対値データと相対値データ

この段階では、画像データ（絶対値）とプロセスデータ（相対値）の2種類のデータを収集する必要があります。ディープラーニングチームが収集した画像データは、不具合や合否判定に関するニューラルネットワークの最適化や学習にも役立ちます。確実に画像を取り込むためには、特に、適切な解像度を持つカメラを選び、適切な照明を選択し設定することが必要です。

ディープラーニングをベースとしたシステムを開発する企業は、プロセスデータを使用して高度な最適化を実行できます。これには、エスケープとスクラップの単価、合格と不合格の頻度、さまざまな種類の欠陥頻度などのデータが含まれる場合があります。ディープラーニングチームは、グランドトゥルースに対するディープラーニングシステムのパフォーマンスと、手動検査などの既存のソリューションのパフォーマンスを比較検討する必要があります。

継続的なプロセスの維持

ディープラーニングプロジェクトのすべてのフェーズは、通常、継続的に実行する必要があります。この作業には、画像やプロセスデータの収集、モデルのトレーニング、データのラベル付けを最新に保つことなどが含まれます。

企業は、画像中の欠陥に一貫して信頼性の高いラベル付けができる作業者を必要としているため、ディープラーニングモデルは品質データに基づいて学習させることになります。トレーニングのプロセスを継続的に行うことで、チームは正確なデータの収集と記録を効率的に行うことができます。

統計的な異常を避けるために、チームは製品のばらつき、コンポーネントの変更、装置の変動、工具の摩耗を把握し、追跡する必要があります。併せて、すべての画像ラベルは、独立した測定と明確な定義により、一貫性があり偏りのないものである必要があります。製品の仕様変更、新製品の追加、旧製品の削除があった場合、画像ラベルを更新する必要があります。また、問題が発生したときに、チームが対応して問題を修正できるように、時間の経過と共に継続的に情報を収集するプロセスを確立する必要があります。

ディープラーニングチームは、トレーニングで偽装欠陥を使用することを避けるべきです。部品のマーク、クラック、傷などの偽装欠陥は実際の欠陥とは異なるため、トレーニングプロセスに悪影響を及ぼす可能性があります。例えば、チームの誰かがテストのためにパーツの中央に手動で傷を追加すると、システムはその領域でのみ欠陥を探し始めます。

グランドトゥルースの取得

チームがグランドトゥルースを取得するためには、ファクトリでの検査結果をマニュアルで利用するなど、いくつかの選択肢があります。これは、データを容易に入手でき、かつ容認される方法の一つです。これは、検査のために部品を傾けるなど、特別な取り扱いが必要な場合には、この方法しかない場合もあります。一方、時間の経過や検査官によって結果が異なる場合もあれば、現在導入されているシステムに既得権を持つ関係者がいる場合もあります。企業は、より正確な基準値を決定するために、データ収集とキュレーションに投資する必要があるため、この方法はあくまでも始点として利用されるべきです。

Knappテストは、いくつかの既知の部品の良品と不良品を同じグループの検査員に何度も検査させることで、企業が品質検査員を評定するのに役立ちます。Knappテストでは、生産部品に混じっている制御部品を個々の検査員が数回チェックし、各人の結果をまとめて合否を決定します。この方法では、どの種類の欠陥が常に検出されているか、どの検査員が最も優れているかを確認できますが、小規模なデータセットに限られます。また、欠陥の外観が非現実的または人為的であったり、欠陥の分布が常に非現実的であるために、現実的でない結果をもたらす可能性があります。企業は、個々の検査員の精度と再現性を評価し、現実的な欠陥の画像を使用して、ニューラルネットワークのトレーニング用の初期ラベル付きデータセットを作成する必要があります。

メソッド

メリット

制限事項

推奨事項

手動検査

• データが存在し、受け入れられている

• 検査のために特別な取り扱い（商品を傾けるなど）が必要な場合、唯一の選択肢となる可能性がある

• 一貫性の欠如 - 時間の経過と検査官による違い

• 多くの関係者が現行システムに既得権を有している

• 手動による検査の結果を始点とする

• より正確なベースラインを決定するためのデータ収集&キュレーションへの投資

Knappテスト

• 実際の製造環境下での動作テスト

• 一検査員の判断よりも確実

• 一部の業界ではテストが非実用的

• 小規模なデータセットに限定される

• 結果は往々にして典型的でない

• 個々の検査員の精度&再現性を検証する

• ニューラルネットワークトレーニング用の初期ラベル付きデータセットを作成する

• 本番環境下での検証

最後に、グランドトゥルースを取得するためには、企業の品質基準を熟知した信頼できる専門家が最低1人、必要となります。まず、手動検査と自動検査の両方で、生産中の画像と検査結果をチームで記録します。そして、専門家が画像から確実に合否判定ができるかを確認し、ラベル付けチームの画質基準を設定することで、正確なデータのみがディープラーニングモデルに入力されるようにします。

その後、手動と自動の目視検査結果を比較することができます。結果が一致すれば、その判断は正しいと判断し、画像をデータセットに追加することができます。結果が異なる場合は、専門家が結果を確認し、対応を決定します。専門家は、現実的な条件下での実サンプルに基づく画像を用いて、信頼性の高いグランドトゥルース画像データベースの確立を支援します。さらに、この専門家は、欠陥分布や手動および自動検査のパフォーマンスデータなど、信頼性の高いパフォーマンス統計の作成を支援し、検査プロセスの改善も行います。この専門家は、将来の自動化プロジェクトに再利用できるデータも提供します。欠陥品を検出するためにパーツを操作または処理する必要がある場合、この方法では適切な結果が得られないということに留意してください。この方法のもう1つの欠点は、単一の意思決定者に依存してしまうことです。