In che modo il deep learning sta trasformando l’ispezione degli assemblaggi in tutti i settori

Scene non strutturate e/o altamente complesse che mostrano modelli contrastanti e riverbero speculare possono semplicemente diventare troppo complessi da programmare, specialmente per le applicazioni di verifica di assemblaggi che devono identificare un gran numero di componenti che possono variare da parte a parte e apparire in numerose configurazioni. Anche quando i componenti sono coerenti e ben realizzati, le ispezioni di verifica di assemblaggi rimangono tra le più difficili da automatizzare. Ciò avviene perché, sebbene i sistemi di visione artificiale siano in grado di tollerare una certa variabilità nell’aspetto di un componente in ragione della scala, della rotazione o della distorsione della posa, condizioni quali strutture complesse e confuse delle superfici e scarsa illuminazione pongono sfide molto serie. I sistemi di visione artificiale faticano a tenere conto delle variazioni e delle diversità tra componenti esteticamente molto simili.

Quando un assemblaggio o un sottoinsieme contiene numerose deviazioni e variazioni, l’onere posto sul sistema si intensifica fino a quando l’apprezzamento di tutte queste differenze diventa troppo difficile da programmare o da tenere in considerazione. Cedere tali ispezioni agli ispettori umani è inefficiente, non scalabile, e può comunque determinare errori dovuti alla fatica e a diversi pregiudizi che variano da ispettore a ispettore.

Gli strumenti di analisi di immagini basati sul deep learning costituiscono un’alternativa per automatizzare le ispezioni di verifica di assemblaggi più difficili.

Verifica di assemblaggi per il settore automobilistico

Numerosi oggetti e scene nel settore di produzione automobilistico sono imprevedibili e si presentano in modo diverso alla telecamera durante le varie fasi di assemblaggio. L’assemblaggio finale è un processo di verifica notoriamente difficile per le auto finite. Ciò è dovuto al fatto che sfida gli algoritmi di filtraggio passo dopo passo e gli algoritmi basati su regole che definiscono lo sviluppo della visione artificiale tradizionale.

Man mano che le librerie di difetti crescono e le modifiche di configurazione si espandono, diventa troppo complesso mantenere questi algoritmi. La verifica dell’assemblaggio finale mette alla prova i limiti effettivi della programmazione perché comporta molteplici variabili mutevoli quali l’illuminazione, il colore, la curvatura e il campo visivo che possono essere molto difficili da isolare per un computer e una telecamera. Per questo motivo, tradizionalmente, gli ispettori umani continuano ad eseguire controlli esterni nella fase finale dell’assemblaggio di un’automobile. Anche se possono essere abili nell’individuare una varietà di componenti e caratteristiche man mano che i diversi modelli di auto si muovono lungo la linea in condizioni di illuminazione mutevoli, gli ispettori umani possono comunque essere incoerenti.

Al contrario, un software per il deep learning è in grado di creare in modo affidabile una libreria delle caratteristiche di riferimento, a partire da detti colori e componenti, per localizzare e identificare tali caratteristiche all’interno di una foto di un’automobile completamente assemblata. A partire da tale contesto, è facile automatizzare il controllo di verifica del montaggio finale aggiungendo una caratteristica aggiuntiva: una volta che i componenti sono stati localizzati e identificati, il software può fornire il risultato di “accettato” o “rifiutato”.

Verifica di assemblaggi per il settore dei componenti elettronici

I produttori di componenti elettronici stanno ricorrendo al deep learning per il processo decisionale altamente di tipo valutativo richiesto nella loro applicazione di verifica del montaggio. È troppo dispendioso in termini di tempo addestrare un sistema d’ispezione affinché individui e verifichi la presenza e il corretto posizionamento di più componenti. Le ispezioni che coinvolgono immagini con componenti molti piccoli vicini o che si toccano tra loro possono essere quasi impossibili o troppo complesse da risolvere con la visione artificiale tradizionale.

Un prodotto di hardware elettronico in fase di assemblaggio, come una scatola di fusibili, deve essere ispezionato per individuare eventuali difetti, contaminanti, vizi di funzionamento o altre irregolarità che potrebbero ostacolare le prestazioni o compromettere la sicurezza. Questi errori devono essere rilevati prima dell’assemblaggio della scatola di fusibili in un dispositivo o prima della spedizione ai clienti. Fortunatamente, il software basato sul deep learning è ottimizzato per funzionare in queste condizioni confuse, anche quando le immagini sono a basso contrasto o sono acquisite malamente.

Infine per verificare la completezza dell’assemblaggio della scatola di fusibili, lo strumento di deep learning impara innanzitutto ad identificare i numerosi componenti elettronici sulla base di immagini etichettate con le posizioni di ciascun tipo di componente. Da tale input, le reti neurali dello strumento costruiscono un modello di riferimento di ogni componente: ciò comprende le relative dimensioni, la forma e le caratteristiche superficiali normali nonché la posizione generale sulla scatola. Durante il funzionamento, lo strumento segmenta tutte le zone della scatola contenente i componenti per stabilire correttamente se i componenti sono presenti o assenti e se sono del tipo corretto.

Verifica di assemblaggi per l’industria del packaging

Prendiamo in considerazione il compito di verificare l’assemblaggio corretto di un pasto congelato e confezionato. L’imballaggio di diversi vassoi contenenti alimenti può sembrare simile esternamente, tuttavia contiene un diverso mix di prodotti all’interno. Per contro è possibile che gli stessi componenti alimentari siano presenti in tutte le confezioni, ma che la loro disposizione o le dimensioni delle porzioni possano cambiare.

Il numero di componenti alimentari e le varie configurazioni e layout sono difficili e richiedono molto tempo per essere programmati con la visione artificiale tradizionale, soprattutto perché è difficile individuare e identificare automaticamente più caratteristiche all’interno di una singola immagine utilizzando un unico strumento. Le scene altamente complesse coinvolte in qualsiasi applicazione di verifica di assemblaggi della confezione finale possono essere troppo difficili da controllare, poiché le eccezioni e le librerie di difetti crescono.

L’analisi di immagini basata sul deep learning rende semplice verificare che un vassoio per alimenti sia correttamente assemblato apprendendo a riconoscere non soltanto l’aspetto leggermente variabile di ogni componente alimentare, ma anche i layout accettabili. Una volta addestrato in merito al normale aspetto dei singoli componenti, il software costruisce un database completo dei vari alimenti da localizzare. Durante il funzionamento, l’immagine di ispezione può essere suddivisa in diverse zone affinché il software possa controllare la presenza di alimenti e verificare che siano del tipo corretto.

Per le situazioni nelle quali i layout degli imballaggi variano, il software è abbastanza flessibile da consentire all’utente di addestrare configurazioni multiple. Man mano che le configurazioni variano, il software di deep learning può essere regolato per continuare a individuare ogni singolo componente e confermare che sia del tipo corretto. In questo modo un utente può automatizzare la verifica di un vassoio di alimenti o di un pasto congelato confezionato utilizzando un unico strumento.

Verifica di assemblaggi per il settore dell’elettronica di consumo

Durante l’assemblaggio di pannelli o moduli di dispositivi mobili, non è inusuale che materiali estranei quali viti allentate cadano all’interno dell’alloggiamento di un modulo adiacente sulla linea. È fondamentale rilevare eventuali inclusioni per evitare che causino ostruzioni o danni durante l’assemblaggio finale. I detriti sono in genere di piccole dimensioni e le piccole variazioni di aspetto, dovute a leggeri contrasti di luce, a cambiamenti di orientamento o a riflessi metallici, possono confondere un sistema di ispezione automatizzato.

Allo stesso tempo, questi tipi di condizioni possono altresì rendere difficile per il sistema d’ispezione affermare se i componenti previsti si trovino nel loro alloggiamento corretto. Infine, i pannelli di dispositivi mobili contengono numerosi componenti vicini tra loro, il che può rendere difficile a un sistema d’ispezione distinguerli come componenti indipendenti.

La programmazione di tutte queste variabili in un algoritmo basato su regole è dispendiosa in termini di tempo, soggetta a errori e difficile da sottoporre a manutenzione sul campo. Fortunatamente, un software di analisi delle immagini baso sul deep learning può apprendere a riconoscere l’aspetto corretto finito dei numerosi componenti del pannello o del modulo, al fine di individuare delle parti posizionate in modo scorretto come delle viti. Grazie all’addestramento sulle immagini “non conformi” di un modulo nel quale sono presenti detriti o vi sono componenti mancanti, nonché su immagini “conformi” note nelle quali il modulo è assemblato correttamente, uno strumento come il Deep Learning di Cognex crea un modello di riferimento di un pannello di dispositivi mobili che funziona in condizioni difficili ed è in grado di individuare qualsiasi pannello difettoso in modo tanto affidabile quanto un ispettore umano, ma con la velocità e l’affidabilità di un sistema automatizzato.

Tradizionalmente le applicazioni di verifica del montaggio sono state relegate agli ispettori umani. Tuttavia sulle linee di produzione che devono ispezionare centinaia o migliaia di pezzi al minuto in maniera affidabile e ripetitiva, le capacità di ispezione degli esseri umani sono insufficienti. Gli strumenti basati sul deep learning sono ora in grado di colmare questa lacuna.

Il Deep Learning di Cognex è addestrato su immagini etichettate (non è necessario alcuno sviluppo software) per localizzare e individuare correttamente i componenti che variano in termini di dimensioni, forma e caratteristiche superficiali. Una volta superato questo ostacolo, confermare la presenza o meno dei componenti corretti e la corretta disposizione o configurazione diventa facile e, a differenza della visione tradizionale, non richiede alcuna costruzione di logica aggiuntiva.