Cinq indicateurs basés sur le Deep Learning pour la classification

La qualité du produit est la clé de la réussite d’une entreprise. Faire les choses bien entretient la confiance des clients et entraîne un bouche-à-oreille positif, moins de rappels coûteux et, en fin de compte, de meilleurs résultats pour l’entreprise. Pour maintenir des normes élevées, les fabricants comptent sur des systèmes de vision industrielle tout au long de la production.

Les outils de deep learning, tels que les classificateurs, améliorent le contrôle qualité en détectant non seulement les défauts, mais également en les classant. Cette distinction, par exemple, différencier une rayure d’une bosse, aide les fabricants à identifier les modèles, à résoudre les erreurs de manière proactive et à réduire le gaspillage. En perfectionnait la classification des défauts, la production reste efficace et uniquement des produits de haute qualité atteignent le marché. Alors que les indicateurs de classification (ce dont nous discutons ici) comme l’exactitude, la précision et le rappel se concentrent sur la manière dont un modèle catégorise les données, les métriques d’évaluation fournissent une vue plus large de la performance d’un modèle sur l’ensemble des tâches, offrant des informations au-delà de la classification.

Comment les fabricants savent-ils que leurs modèles de Deep Learning fonctionnent ? Voici le défi : Une classification précise garantit que seuls les produits défectueux sont éliminés, mais des prédictions incorrectes peuvent extraire par erreur des articles sans erreur de la production, ce qui ralentit les opérations et augmente les coûts.

Dans l’industrie 4.0, le big data favorise le contrôle qualité et des processus. Extraire les bonnes métriques permet aux organisations de savoir si leurs inspections de classification de deep learning fonctionnent de manière optimale. Pour y parvenir, la Matrice de confusion, qui aide à évaluer dans quelle mesure un modèle de classification identifie les défauts, est l’un des outils les plus importants.

• Vrai positif – Le modèle identifie correctement un défaut.
• Faux positif – Le modèle signale un élément non défectueux comme défectueux.
• Vrai négatif – Le modèle classe correctement un bon élément.
• Faux négatif – Le modèle manque un défaut.

Les applications du monde réel peuvent impliquer des classifications complexes et des métriques avancées, cependant, ces mesures fondamentales créent les bases du suivi de la réussite et de l’optimisation de l’automatisation.

1. Précision : le pourcentage de prédictions correctes effectuées par le modèle.

Il s’agit de la mesure la plus largement utilisée dans la fabrication, car elle est simple et donne une vue d’ensemble claire de la manière dont votre système identifie correctement les produits défectueux et non défectueux. La précision peut fournir une mesure de base, cependant, elle ne traduit pas toujours les nuances de cas d’utilisation spécifiques.

Scénario du monde réel : Imaginez que vous êtes inspecteur sur la ligne de production et que vous vérifiez 100 produits pour détecter des défauts. Si vous identifiez et signalez correctement 95 éléments défectueux, votre taux de précision est de 95 %.

​2. Taux d’erreur : pourcentage de produits ou de composants défectueux ou non conformes aux normes de qualité.

Cette métrique est complémentaire à la précision et elle permet de mettre en surbrillance le nombre d’erreurs commises par le modèle. Un taux d’erreur inférieur indique de meilleures performances du modèle ; un taux d’erreur élevé peut entraîner une augmentation des coûts, un gaspillage des matériaux et l’insatisfaction des clients.

Scénario du monde réel : Pensez à un employé d’entrepôt qui lit les codes-barres pour suivre l’inventaire. Si l’employé balaye 1 000 articles et que 20 de ces balayages sont incorrects (erreur d’étiquetage ou articles manquants), le taux d’erreur serait de 2 %.

​3. Taux d’échappement : le pourcentage de pièces défectueuses classées comme bonnes de façon erronée (faux négatifs). 

La réduction des taux d’échappement se traduit par l’arrivée sur le marché de produits de haute qualité, préservant la réputation d’une entreprise et évitant les rappels coûteux.

Scénario du monde réel : Si un écran de téléphone fissuré passe par l’inspection et est emballé pour l’expédition, cela est pris en compte comme un « échappement ». Le taux d’échappement suit la fréquence à laquelle ces produits défectueux passent l’inspection et peuvent aboutir dans la poche d’un client.

​4. Taux de suroptimisation : le pourcentage de pièces non défectueuses qui sont classées comme défectueuses de façon erronée (faux positifs). 

Scénario du monde réel : Lorsqu’un robot signale par erreur des produits sans défaut pour reprise, cette mesure quantifie la fréquence de ces erreurs, soulignant les coûts inutiles associés au retrait et à la reprise des pièces sans défaut et au gaspillage des ressources.

5. Précision : prédictions positives faites par le modèle et qui étaient réellement correctes.

Cette mesure est essentielle pour comprendre la capacité du modèle à prédire la classe correcte sans générer trop de faux positifs. Une valeur de précision de 1 signifie une prédiction parfaite des positifs sans surprédiction, tandis que 0 indique un échec.  

Scénario du monde réel : Dans une supervision de ligne de conditionnement pharmaceutique, un système de vision cible les erreurs d’impression sur les étiquettes. Si le système prédit les erreurs d’étiquetage avec une grande précision, il vérifie que seules les étiquettes réellement mal imprimées sont signalées, réduisant ainsi les faux positifs. Cela évite de jeter inutilement les étiquettes correctement imprimées, ce qui maintient la qualité du produit et réduit les déchets.

F1-Score : la moyenne harmonique de la précision et du rappel, fournissant un équilibre entre les deux.

Le F1-Score sert lorsque vous devez équilibrer le compromis entre la précision et le rappel. Une valeur de 1 indique une précision parfaite pour les deux métriques ; 0 signifie que le modèle fonctionne mal.

Scénario du monde réel : Dans la production de lentilles de contact, un système automatisé identifie les défauts tels que les rayures ou les déchirures. Si le système excelle dans l’identification correcte des défauts avec peu de ratés (bonne précision mais faible rappel), le F1-Score aide à équilibrer la précision et le rappel, permettant de détecter la plupart des défauts tout en atténuant les fausses alarmes.

Courbe ROC (Receiver Operating Characteristic Curve) : un graphique qui trace le taux de vrais positifs (rappel) par rapport au taux de faux positifs à divers seuils de classification.

Scénario du monde réel : Dans la production de seringues médicales, les systèmes de vision industrielle inspectent les défauts tels qu’un mauvais alignement de l’aiguille. En utilisant la courbe ROC, le système peut ajuster sa sensibilité pour s’assurer qu’il détecte tous les désalignements importants (rappel élevé) tout en réduisant les fausses alarmes, en veillant au retrait des seringues défectueuses uniquement, ce qui maintient l’efficacité de la production.

Périmètre sous la courbe (AUC) : une valeur unique résumant la courbe ROC, représentant dans quelle mesure le modèle distingue les classes ; un AUC plus élevé indique de meilleures performances.

Scénario du monde réel : Pour un modèle de Deep learning formé à la détection des défauts du produit (comme les fissures dans les bouteilles en plastique), le AUC a évalué dans quelle mesure il pouvait distinguer les bouteilles fissurées (classe positive) des bouteilles non fissurées (classe négative). Un AUC plus élevé indique que le modèle est plus efficace pour l’identification de bouteilles fissurées.

Perte logarithmique (Logarithmic Loss) : la performance d’un modèle de classification où la prédiction est une valeur de probabilité comprise entre 0 et 1, avec des valeurs de perte logarithmique inférieures indiquant une meilleure performance du modèle.

Scénario du monde réel : Sur une supervision de ligne alimentaire, les capteurs prédisent les défauts tels que les fuites dans des sachets scellés. Si le modèle prévoit une probabilité de fuite de 85 %, mais que le sachet est intact, la perte logarithmique pénalise cette prédiction erronée de haute confiance. Des valeurs de perte logarithmique plus faibles indiqueraient que le modèle prédit de manière fiable les défauts, minimisant les vérifications inutiles et garantissant que seules les poches défectueuses sont signalées pour la reprise.

Perte d’entropie croisée : quantifie la différence entre deux distributions de probabilité, généralement entre les véritables étiquettes et les probabilités prévues.

Scénario du monde réel : Dans une ligne d’assemblage de smartphones, un modèle prédit si un écran présente une rayure ou une fissure. S’il prédit une rayure alors qu’il s’agit en réalité d’une fissure, la perte d’entropie croisée pénalise cette prédiction incorrecte en raison de la sévérité de l’erreur. Cela encourage le modèle à perfectionner sa précision, en améliorant la précision de détection des défauts et en réduisant les erreurs d’assemblage coûteuses.