Cómo Deep Learning transforma la inspección de conjuntos en diferentes industrias

Las escenas no estructuradas y/o altamente complejas que exhiben patrones contrastados y brillo especular pueden simplemente volverse demasiado difíciles de programar, especialmente para las aplicaciones de verificación del montaje que necesitan identificar una gran cantidad de componentes que pueden variar entre sí y aparecer en numerosas configuraciones. Incluso cuando las piezas son uniformes y están bien fabricadas, las inspecciones de verificación del montaje siguen siendo de las más difíciles de automatizar. Esto se debe a que, aunque los sistemas de visión artificial son capaces de tolerar cierta variabilidad en la apariencia de las piezas debido a la escala, la rotación o la distorsión, condiciones como texturas de la superficie complejas y confusas, así como la mala iluminación plantean desafíos muy serios. A los sistemas de visión artificial les cuesta considerar la variabilidad y desviación entre piezas visualmente similares.

Cuando un montaje o submontaje contiene muchas desviaciones y variaciones, la carga sobre el sistema se intensifica hasta que la apreciación de todas estas diferencias se hace demasiado difícil de programar o explicar. Dejar estas inspecciones en manos de inspectores humanos es ineficiente, limitada y puede ocasionar errores debido a la fatiga y a los diferentes criterios entre inspectores.

Las herramientas de análisis de imágenes basadas en Deep Learning son una alternativa para automatizar hasta las inspecciones de verificación del montaje más desafiantes.

Verificación del montaje para la industria automotriz

Muchos objetos y escenas de la industria de producción automotriz son impredecibles y se presentan de forma diferente a la cámara durante varias etapas de montaje. El ensamblaje final es un proceso de verificación notoriamente difícil para los autos terminados. Esto se debe a que presenta un desafío para los algoritmos de filtrado paso a paso y en base a reglas que definen el desarrollo de la visión artificial tradicional.

A medida que las bibliotecas de defectos crecen y los cambios en la configuración se expanden, mantener estos algoritmos se vuelve muy difícil. La verificación de montaje final pone a prueba los límites de la programación porque implica múltiples variables cambiantes como la iluminación, el color, la curvatura y el campo de visión que pueden ser muy difíciles de aislar para una computadora y una cámara. Tradicionalmente, por eso los inspectores humanos continúan realizando las verificaciones del exterior en la etapa final del montaje de autos. Si bien pueden ser hábiles para identificar diferentes piezas y características a medida que los distintos modelos de automóviles se desplazan por la línea en condiciones de iluminación cambiantes, los inspectores humanos pueden seguir siendo inconsistentes.

En cambio, el software de aprendizaje profundo puede crear de manera confiable una biblioteca de características de referencia a partir de dichos colores y componentes para localizarlos e identificarlos dentro de la foto de un automóvil completamente ensamblado. Con esto, es fácil automatizar el control de verificación de montaje final añadiendo una característica adicional: una vez que los componentes han sido localizados e identificados, el software puede proporcionar un resultado de “aprobado” o “fallo”.

Verificación del montaje para la industria electrónica

Los fabricantes de electrónica están adoptando Deep Learning para la toma de decisiones basadas principalmente en criterios que son necesarias en su aplicación de verificación del montaje. Entrenar un sistema de inspección para detectar y verificar la presencia y ubicación adecuada de múltiples componentes consume mucho tiempo. Las inspecciones que implican imágenes con muchos componentes diminutos cercanos o que se tocan entre sí pueden ser casi imposibles o demasiado complejas para resolverlas con la visión artificial tradicional.

Una pieza de hardware electrónico que se está ensamblando, como una caja de fusibles, debe ser inspeccionada para detectar defectos, contaminantes, fallas de funcionamiento u otras irregularidades que puedan impedir su funcionamiento o afectar su seguridad. Estos errores deben detectarse antes de montar las cajas de fusibles en un dispositivo o de enviarlas a los clientes. Por suerte, el software basado en aprendizaje profundo está optimizado para trabajar en estas condiciones confusas, que incluyen aquellos casos donde las imágenes tienen poco contraste o están mal tomadas.

Para verificar en última instancia el conjunto completo de las cajas de fusibles, la herramienta de Deep Learning primero aprende a identificar los componentes electrónicos basándose en imágenes etiquetadas con las ubicaciones de cada tipo de pieza. A partir de esta información, las redes neuronales de la herramienta crean un modelo de referencia de cada componente, que incluye su tamaño, forma y características de superficie habituales, así como su ubicación general en la caja. Durante el tiempo de ejecución, la herramienta segmenta todas las áreas de la caja que contienen componentes para identificar correctamente si los componentes están presentes o ausentes y si son del tipo correcto.

Verificación del montaje para la industria de empacado

Considere la tarea de verificar el montaje correcto de una comida congelada empacada. Los empaques de diferentes bandejas con comida pueden verse similares por fuera, pero contienen una combinación distinta de productos en el interior. A la inversa, los mismos componentes alimenticios pueden estar presentes en todos los empaques, pero su disposición o el tamaño de la porción pueden cambiar.

El número de componentes alimenticios y las diversas configuraciones y disposiciones son difíciles de programar con la visión artificial tradicional (y requieren mucho tiempo), especialmente porque es difícil localizar e identificar automáticamente múltiples características dentro de una sola imagen utilizando una sola herramienta. Las escenas altamente complejas involucradas en cualquier aplicación de verificación del montaje de embalaje final pueden ser demasiado difíciles de controlar a medida que crecen las excepciones y las bibliotecas de defectos.

El análisis de imágenes basado en Deep Learning facilita verificar que una bandeja de comida esté correctamente ensamblada porque no solo aprende la apariencia ligeramente variable de cada componente de la comida, sino también las disposiciones aceptables. Una vez entrenada respecto a la apariencia de los componentes individuales, el software genera una base de datos completa de los diferentes alimentos a localizar. Durante el tiempo de ejecución, la imagen de inspección se puede dividir en distintas regiones, para que el software pueda comprobar la presencia de alimentos y verificar que sean del tipo adecuado.

En aquellos casos donde la disposición del empaque varía, el software es lo suficientemente flexible para permitirle al usuario entrenar múltiples configuraciones. A medida que las configuraciones cambian, el software de aprendizaje profundo se puede seguir ajustando para detectar cada componente individual y confirmar que sea del tipo adecuado. De esta forma, el usuario puede automatizar la verificación de una bandeja de comida envasada o congelada usando solo una herramienta.

Verificación del montaje para la industria de electrónica de consumo

Durante el montaje de paneles o módulos de dispositivos móviles, no es raro que materiales extraños, como tornillos sueltos, caigan dentro de la carcasa de un módulo vecino en la línea de producción. Es fundamental detectar cualquier inclusión para que no cause obstrucción o daño durante el ensamblaje final. Los residuos suelen ser pequeños y las pequeñas variaciones en la apariencia, ya sea debido a sutiles contrastes de iluminación, cambios en la orientación o brillo metálico, pueden confundir a un sistema de inspección automatizada.

A la vez, estas condiciones también pueden dificultar la tarea del sistema de inspección para detectar si los componentes esperados se encuentran en su carcasa correspondiente. Finalmente, los paneles de dispositivos móviles contienen muchas piezas juntas que son difíciles de distinguir como componentes independientes para el sistema de inspección.

Programar todas estas variables en un algoritmo basado en reglas lleva mucho tiempo, es propenso a errores y es difícil de mantener en el campo. Por suerte, el software de análisis de imágenes basado en deep learning puede aprender cuál es la apariencia final correcta de los muchos componentes del panel o módulo para identificar piezas mal ubicadas, como tornillos. Al entrenarse sobre las imágenes “malas” de un módulo donde hay residuos o faltan componentes, así como sobre imágenes “buenas” en las que el módulo está ensamblado correctamente, una herramienta, como el aprendizaje profundo de Cognex, crea un modelo de referencia de un panel de dispositivo móvil que prospera en condiciones difíciles y es capaz de identificar cualquier panel defectuoso con la misma confiabilidad que un inspector humano, pero con la rapidez y la confiabilidad de un sistema automatizado.

Tradicionalmente, las aplicaciones de verificación del montaje se han relegado a inspectores humanos. Sin embargo, en las líneas de fabricación donde se necesita inspeccionar cientos o miles de piezas por minuto en forma confiable y repetitiva, las capacidades de inspección de los humanos no son suficientes. Las herramientas basadas en deep learning pueden llenar ese vacío.

El aprendizaje profundo de Cognex se entrena con imágenes etiquetadas: no es necesario desarrollar software para ubicar e identificar correctamente las piezas que varían en tamaño, forma y características de la superficie. Una vez superado este obstáculo, confirmar si los componentes adecuados están presentes y ordenados en su disposición o configuración correcta es fácil y, al contrario que con la visión tradicional, no requiere del desarrollo de lógicas adicionales.