Los 5 parámetros clave de clasificación de Deep Learning

La calidad del producto es la clave del éxito de una compañía. Hacerlo bien genera la confianza del cliente, más comentarios positivos, menos retiros costosos y mejores resultados comerciales. Para mantener altos estándares, los fabricantes confían en los sistemas de visión artificial durante toda la producción.

Las herramientas de Deep Learning, como los clasificadores, mejoran el control de calidad no solo al detectar defectos sino también al categorizarlos. Esta distinción (como diferenciar un rasguño de una abolladura) ayuda a los fabricantes a identificar patrones, abordar problemas de manera proactiva y reducir los desperdicios. Al refinar la clasificación de defectos, la producción se mantiene eficiente y solo los productos de alta calidad llegan al mercado. Mientras que los parámetros de clasificación (lo que estamos analizando aquí), como exactitud, precisión y recuperación, se centran en qué tan bien un modelo categoriza los datos, las métricas de evaluación brindan una visión más amplia del desempeño de un modelo en diferentes tareas, ofreciendo información más allá de la clasificación.

Entonces, ¿cómo saben los fabricantes que sus modelos de aprendizaje profundo están funcionando? Este es el desafío: La clasificación exacta garantiza que solo se eliminen productos defectuosos pero las predicciones incorrectas pueden extraer por error elementos perfectamente en buen estado de la producción, disminuyendo la velocidad de las operaciones y aumentando los costos.

En la Industria 4.0, los macrodatos impulsan el proceso y el control de calidad. Obtener los parámetros correctos permite a las organizaciones comprender si sus inspecciones de clasificación de Deep Learning se desempeñan de manera óptima. Una de las herramientas más importantes para esto es la matriz de confusión que evalúa qué tan bien un modelo de clasificación identifica defectos.

• Verdadero positivo: el modelo identifica correctamente un defecto.
• Falso positivo: el modelo marca un artículo no defectuoso como defectuoso.
• Verdadero negativo: el modelo clasifica correctamente un elemento en buen estado.
• Falso negativo: el modelo no detecta un defecto.

Si bien las aplicaciones del mundo real pueden implicar clasificaciones complejas y parámetros avanzados, estas medidas centrales sientan las bases para el seguimiento del éxito y la optimización de la automatización.

1. Exactitud: el porcentaje de predicciones correctas realizadas por el modelo.

Esta es la métrica más utilizada en la fabricación ya que es simple y proporciona una descripción general clara de qué tan bien su sistema identifica correctamente los productos defectuosos y no defectuosos. Mientras que la exactitud proporciona una medida básica, no siempre refleja los matices de casos de uso específicos.

Escenario del mundo real: Imagine que es un inspector en la línea de fabricación, revisando 100 productos en busca de defectos. Si identifica y marca 95 elementos defectuosos correctamente, su tasa de exactitud es de 95 %.

​2. Tasa de error: el porcentaje de productos o componentes defectuosos o que no cumplen con los estándares de calidad.

Esta métrica es complementaria a la exactitud, ayudando a resaltar el número de errores hechos por el modelo. Una tasa de error más baja indica un mejor rendimiento del modelo. Una tasa de error alta puede conducir a mayores costos, desperdicio de materiales e insatisfacción del cliente.

Escenario del mundo real: Piense en un trabajador de almacén que escanea códigos de barras para rastrear el inventario. Si el trabajador escanea 1,000 elementos y 20 son incorrectos (error de etiquetado o falta de elementos), la tasa de error sería de 2 %.

​3. Tasa de escape: el porcentaje de piezas defectuosas que se clasifican incorrectamente como buenas (falsos negativos). 

Minimizar las tasas de escape da como resultado que solo productos de alta calidad lleguen al mercado, preservando la reputación de una compañía y evitando costosos retiros del mercado.

Escenario del mundo real: Si una pantalla de teléfono agrietada pasa por la inspección y se empaca para envío, se considera un “escape”. La tasa de escape realiza un seguimiento de la frecuencia con la que estos productos defectuosos pasan la inspección y posiblemente aparecen en el bolsillo de un cliente.

​4. Tasa de falsos positivos: el porcentaje de piezas no defectuosas que se clasifican incorrectamente como defectuosas (falsos positivos). 

Escenario del mundo real: Cuando un robot marca por error buenos productos para retrabajo, esta métrica cuantifica la frecuencia de dichos errores, destacando los costos innecesarios asociados con la eliminación y el retrabajo de piezas perfectamente en buen estado y el desperdicio de recursos.

5. Precisión: predicciones positivas hechas por el modelo que en realidad eran correctas.

Esta métrica es clave para entender la capacidad del modelo para predecir la clase correcta sin generar demasiados falsos positivos. Un valor de precisión de 1 significa una predicción perfecta de positivos sin sobrepredicción, mientras que 0 indica falla.  

Escenario del mundo real: En una línea de empacado farmacéutico, un sistema de visión apunta a errores de impresión en las etiquetas. Si el sistema predice errores de etiquetas con alta precisión, se asegura de que solo se marquen las etiquetas mal impresas reales, minimizando los falsos positivos. Esto evita el desecho innecesario de etiquetas correctamente impresas, lo que mantiene la calidad del producto y reduce el desperdicio.

Valor F1: el promedio armónico de precisión y recuperación que proporciona un equilibrio entre los dos.

El valor F1 se utiliza cuando necesita equilibrar la compensación entre precisión y recuperación. Un valor de 1 indica exactitud perfecta para ambos parámetros: 0 significa que el modelo tiene un desempeño deficiente.

Escenario del mundo real: En la producción de lentes de contacto, un sistema de automatización identifica defectos como rasguños o desgarros. Si el sistema sobresale en la identificación correcta de defectos con pocas fallas (buena precisión pero bajos retiros), el valor F1 equilibra la precisión y recuperación permitiendo detectar la mayoría de los defectos mientras mitiga las falsas alarmas.

Curva ROC (curva característica operacional del receptor): un gráfico que representa la tasa de positivos verdaderos (retiro) frente a la tasa de falsos positivos en varios umbrales de clasificación.

Escenario del mundo real: En la producción de jeringas médicas, los sistemas de visión artificial inspeccionan en busca de defectos como el desalineado de la aguja. Al utilizar la curva ROC, el sistema puede ajustar su sensibilidad para garantizar que detecte todos los desalineados importantes (alto retiro) mientras minimiza las falsas alarmas, asegurando que solo se extraigan las jeringas defectuosas y manteniendo la eficiencia de la producción.

Área bajo la curva (AUC): un valor único que resume la curva ROC, que representa lo bien el modelo distingue entre clases. Un AUC más alto indica un mejor rendimiento.

Escenario del mundo real: Para un modelo de aprendizaje profundo entrenado para detectar defectos del producto (como grietas en botellas de plástico), AUC evaluó qué tan bien puede distinguir entre botellas agrietadas (clase positiva) y no agrietadas (clase negativa). Un AUC más alto indica que el modelo es más efectivo en la identificación de botellas agrietadas.

Pérdida de registro (pérdida logarítmica): el rendimiento de un modelo de clasificación donde la predicción es un valor de probabilidad entre 0 y 1, donde valores de pérdida de registro más bajos indican un mejor rendimiento del modelo.

Escenario del mundo real: En una línea de empacado de alimentos, los sensores predicen defectos como fugas en bolsas selladas. Si el modelo predice una probabilidad de 85 % de una fuga pero la bolsa está intacta, la pérdida logarítmica penaliza esta predicción incorrecta de alta confianza. Los valores de pérdida logarítmica más bajos indicarían que el modelo predice de manera confiable los defectos, minimizando las verificaciones innecesarias y asegurándose de que solo las bolsas defectuosas estén marcadas para su retrabajo.

Pérdida de entropía cruzada: cuantifica la diferencia entre dos distribuciones de probabilidad, generalmente entre las etiquetas verdaderas y las probabilidades previstas.

Escenario del mundo real: En una línea de montaje de teléfonos inteligentes, un modelo predice si una pantalla tiene un rayón o una grieta. Si predice un rayón cuando en realidad es una grieta, la pérdida de entropía cruzada penaliza esta predicción incorrecta debido a la severidad del error. Esto alienta al modelo a refinar su exactitud mejorando la precisión de detección de defectos y minimizando los costosos errores de ensamblar.