Wichtige Erkenntnisse
Entdecken Sie die wichtigsten Strategien zur Validierung und Optimierung von Deep-Learning-Systemen in der Fertigung:
- Statistische Prüfung: Sammeln Sie Tausende von Datenpunkten, um die Fehlererkennung zu validieren und den ROI zu berechnen, und stellen Sie so eine robuste Systemleistung sicher.
- Zweistufige Prüfung: Kombinieren Sie Deep Learning mit menschlicher Überprüfung, um falsch positive Teile zu reduzieren, die Genauigkeit zu verbessern und Trainingsdatensätze zu optimieren.
- Kontinuierliche Verbesserung: Bitte aktualisieren Sie die Trainingssätze regelmäßig mit neuen Daten, um sie an Veränderungen anzupassen und so die langfristige Zuverlässigkeit und Effizienz des Systems sicherzustellen.
In der letzten Phase des Starts eines Deep-Learning-Projekts in einer Fertigungsumgebung muss das Team, nachdem das System in Testumgebungen gut abgeschnitten hat, Werksabnahmeprüfungen (Factory Acceptance Testing, FAT) durchführen.
In der FAT-Phase klassifizieren das Bildverarbeitungssystem und der menschliche Prüfer die Teile weiterhin als gut oder schlecht, und ein Experte überprüft alle Mehrdeutigkeiten und etikettiert die Teile richtig. Alle Statistiken werden dann nachverfolgt, um die Leistung von Mensch und Bildverarbeitungssystem zu ermitteln.
Statistische und Wiederholbarkeitsprüfungen
Sobald ein Deep-Learning-System den Weg in die Produktionshalle zum Abnahmetest gefunden hat, sollte das Team statistische Tests durchführen, bei denen Tausende von Datenpunkten über einen langen Zeitraum gesammelt werden, um das gesamte Spektrum der Fehlerarten und -häufigkeit zu erfassen. Dieser Ansatz kann mit einer manuellen Prüfungsvalidierung kombiniert werden, um einen genauen ROI für das Projekt zu berechnen. In der Praxis bedeutet dies, das Deep-Learning-System parallel zur manuellen Prüfung laufen zu lassen. Nach einem Monat werden die Bilder gesammelt und die Ergebnisse verglichen. Etwaige Mehrdeutigkeiten oder Unterschiede können dann an den beauftragten Experten weitergeleitet werden, der die korrekte Bestimmung vornehmen kann, um genaue statistische Daten zu erstellen.
Mit dieser Prüfmethode kann das Team eine End-to-End-Validierung mehrstufiger Prüfungen, zusammengesetzter Prüfungen von Teile- und Fehlertypen, Kostenmessungen und genaue ROI-Berechnungen durchführen. Der einzige Nachteil ist, dass statistische Tests einen großen und repräsentativen Datensatz erfordern, der nicht immer sofort verfügbar ist. Außerdem kann es passieren, dass Änderungen an der Bildentstehung, dem Aussehen des Produkts oder den Ground-Truth-Etiketten Daten aus Wochen oder Monaten unbrauchbar machen. Das sollte man unbedingt im Hinterkopf behalten.
Letztendlich sind Wiederholbarkeitsprüfungen nicht repräsentativ für die tatsächliche Fehlerverteilung oder das tatsächliche Auftreten von Fehlern. Dies hindert Unternehmen daran, genaue Schätzungen über Overkill, Underkill und ROI zu erhalten. Denken Sie daran, wenn Sie gezwungen sind Wiederholbarkeitsprüfungen anzuwenden.
Hinzufügen einer Prüfstufe
Eine weitere gängige Methode, die in der FAT-Phase eingesetzt wird, ist die zweistufige Prüfung. Hier führt ein Deep-Learning-System die erste Prüfung durch. Etwaige Unsicherheiten werden an einen menschlichen Prüfer zur Nachprüfung weitergeleitet. Dies trägt dazu bei, falsch positive und falsch negative Ergebnisse zu verringern. Die Ergebnisse können zudem den Trainingsprozess für das Deep Learning verbessern.
Ein zweistufiger Ansatz ermöglicht es Unternehmen, Underkill und Overkill zu reduzieren, wenn Teile, die in die mehrdeutige Kategorie fallen, überarbeitet werden können. Darüber hinaus trägt diese Methode dazu bei, den Ausschuss zu reduzieren, indem sie die Produktion zusätzlicher fehlerhafter Teile einschränkt und gleichzeitig das Vertrauen in das Gesamtsystem erhöht. Das spart Arbeitskosten und ermöglicht eine kontinuierliche Verbesserung, indem schwierige Teilebilder identifiziert werden, die dem Trainingssatz hinzugefügt werden können.
Kontinuierliche Verbesserung
Auch nach dem Erreichen positiver FAT-Ergebnisse muss das Deep-Learning-Team das System kontinuierlich verbessern, indem es Daten sammelt und dem Trainingssatz hinzufügt. Diese Daten umfassen Bilder von fehlerfreien, fehlerhaften und grenzwertigen Teilen sowie neuen Teile-Variationen und Unterschiede zwischen dem Bildverarbeitungssystem und dem menschlichen Prüfer. Ein Teammitglied kann diese Bilder manuell auswählen und dem Trainingssatz hinzufügen, um das neue Modell zu validieren. Auf diese Weise sichert sich ein Team den Erfolg, da sich das System im Laufe der Zeit leichter an Veränderungen anpassen kann, z. B. an Veränderungen bei der Beleuchtung, der Handhabung von Teilen und neuer Komponenten. Immer dann, wenn neue Bilder mit seltenen Fehlern zur Verfügung stehen, sollte das Team diese Bilder in das System aufnehmen, um es weiter zu verfeinern.
Wenn ein Fertigungsunternehmen alle Projektphasen einschließlich anfänglicher Planung, Datenerfassung und Ground Truth, Optimierung und Werksabnahmeprüfung durchführt, können Deep-Learning-Systeme einen enormen Mehrwert bieten. Das ist aber noch nicht alles. Das Team muss weiterhin Daten sammeln und das Modell laufend verbessern. Die Endergebnisse werden mit der Zeit immer besser.
Wenn Sie gerade erst mit Deep Learning beginnen, empfehlen wir Ihnen, sich zunächst die früheren Teile dieser Serie anzusehen. Beginnen Sie mit Teil 1: Planung, gehen Sie dann zu Teil 2: Datenerfassung und Ermittlung der tatsächlichen Gegebenheiten und dann erkunden Sie Teil 3: Optimierung, um Ihren Ansatz zu verfeinern.