5가지 핵심 딥러닝 분류 척도

제품 품질은 회사의 성공의 열쇠입니다. 정확한 품질은 고객의 신뢰를 얻고, 긍정적인 피드백을 확보할 수 있으며, 고가의 비용이 드는 리콜을 줄이고, 보다 나은 비즈니스 결과를 창출할 수 있습니다. 제조업체는 높은 기준을 유지하기 위해 생산 전반에 걸쳐 머신 비전 시스템을 활용합니다.

분류기와 같은 딥러닝 툴은 결함을 감지할 뿐만 아니라 분류하여 품질 관리를 강화합니다. 찌그러짐과 스크래치를 구별하는 것처럼 이러한 차이는 제조업체가 패턴을 식별하고 문제를 선제적으로 해결하며 낭비를 줄이는 데 도움이 됩니다. 결함 분류를 개선함으로써 생산 효율성을 유지하면서 고품질 제품만 시장에 출시됩니다. 정확도, 정밀도 및 리콜과 같은 (여기서 논의하는) 분류 지표는 모델이 데이터를 얼마나 잘 분류하는지에 중점을 두지만, 평가 지표는 작업 전반에 걸쳐 모델의 성능을 더 광범위하게 볼 수 있게 하여 분류 이상의 통찰력을 제공합니다.

그렇다면 제조업체는 딥 러닝 모델이 작동하고 있는지 어떻게 알 수 있을까요? 다음과 같은 어려움이 있을 수 있습니다. 정확한 분류는 결함이 있는 제품만 제거하도록 보장하지만, 부정확한 예측은 실수로 생산 과정에서 완벽하게 양호한 품목까지 제거하여 운영 속도를 늦추고 비용을 증가시킬 수 있습니다.

인더스트리 4.0에서는 빅데이터가 프로세스와 품질 관리를 주도합니다. 올바른 메트릭을 활용하면 딥러닝 분류 검사가 최적으로 수행되고 있는지 파악할 수 있습니다. 이를 위한 가장 중요한 툴 중 하나는 분류 모델이 결함을 얼마나 잘 식별하는지 평가하는 데 도움이 되는 Confusion Matrix입니다.

• 참 양품 – 모델이 결함을 올바르게 식별합니다.
• ​거짓 양품 – 모델이 결함이 없는 품목에 결함이 있음을 표시합니다.
• 참 결함 – 모델은 양품을 올바르게 분류합니다.
• 거짓 결함 – 모델이 결함을 놓칩니다.

실제 애플리케이션에는 복잡한 분류 및 고급 메트릭이 포함될 수 있지만, 이러한 핵심 측정은 성공을 추적하고 자동화를 최적화하기 위한 기반이 됩니다.

1. 정확도: 모델이 수행한 올바른 예측의 백분율입니다.

이는 제조에서 가장 널리 사용되는 지표입니다. 단순하기 때문이며 시스템이 결함이 있는 제품과 결함이 없는 제품을 얼마나 잘 식별하는지에 대한 명확한 개요를 제공합니다. 정확도는 기본적인 척도를 제공하지만, 특정 사용 사례의 뉘앙스를 항상 반영하는 것은 아닙니다.

실제 시나리오: 생산 라인의 검사관으로서 100개의 제품에 결함이 있는지 검사한다고 상상해 보십시오. 결함이 있는 품목 95개를 ��확하게 식별하고 플래그를 지정하면 정확도sms 95%입니다.

​2. 오류율: 결함이 있거나 품질 표준을 충족하지 못하는 제품 또는 구성 요소의 비율입니다.

이 메트릭은 정확도를 보완하여 모델이 실수한 수를 강조하는 데 도움이 됩니다. 오류율이 낮을수록 모델 성능이 향상됩니다. 오류율이 높을수록 비용 증가, 재료 낭비 및 고객 불만족으로 이어질 수 있습니다.

실제 시나리오: 재고를 추적하기 위해 바코드를 스캔하는 창고 작업자를 생각해 보십시오. 작업자가 1,000개의 항목을 스캔하고 해당 스캔 중 20개가 올바르지 않은 경우(잘못 표시된 항목 또는 누락된 항목) 오류율은 2%입니다.

​3. 이탈률: 결함 있는 부품이 양호(거짓 결함)로 잘못 분류된 비율입니다. 

탈출율을 최소화하면 고품질 제품만 시장에 출시되어 회사의 평판을 유지하고 비용이 많이 드는 리콜을 방지할 수 있습니다.

실제 시나리오: 금이 간 휴대폰 화면이 검사를 통과하여 배송을 위해 포장되면 "탈출"로 간주됩니다. 탈출율은 이러한 결함이 있는 제품이 얼마나 자주 검사를 통과하고 고객에게 도달할 수 있는지 추적합니다.

​4. 과검률: 결함이 있는 것으로 잘못 분류된 비결함 부품의 비율(거짓 양품)입니다. 

실제 시나리오: 로봇이 실수로 재작업을 위해 양호한 제품을 플래그 지정하는 경우, 이 메트릭은 이러한 오류의 빈도를 정량화하여 완벽하게 양호한 부품을 제거 및 재작업하고 자원을 낭비하는 것과 관련된 불필요한 비용을 강조합니다.

5. 정밀도: 실제로 정확한 모델에 의해 생성된 긍정적인 예측.

이 지표는 너무 많은 거짓 양품을 생성하지 않고 올바른 클래스를 예측하는 모델의 능력을 이해하는 데 중요합니다. 정밀도 값이 1이면 과잉 예측이 없는 양의 완벽한 예측을 의미하며, 0이면 실패를 나타냅니다.  

실제 시나리오: 제약 포장 라인에서 비전 시스템은 라벨의 오인을 표적으로 합니다. 시스템이 높은 정밀도로 라벨 오류를 예측하면 실제 잘못 인쇄된 라벨만 플래그가 지정되어 거짓 양품을 최소화합니다. 이렇게 하면 올바르게 인쇄된 라벨의 불필요한 폐기를 방지하여 제품 품질을 유지하고 폐기물을 줄일 수 있습니다.

​​F1-점수: 정밀성과 리콜의 조화로운 평균으로, 이 둘 사이의 균형을 제공합니다.

F1-Score는 정밀성과 리콜 사이의 균형을 맞춰야 할 때 사용됩니다. 값이 1이면 두 메트릭 모두에 대한 완벽한 정확도를 나타냅니다. 0은 모델이 제대로 작동하지 않음을 의미합니다.

실제 시나리오: 콘택트렌즈 생산에서 자동화된 시스템은 긁힘이나 찢김과 같은 결함을 식별합니다. 시스템이 실수가 거의 없는 결함(정밀도가 양호하지만 리콜이 낮음)을 올바르게 식별하는 데 탁월하면 F1-Score가 정밀도와 리콜의 균형을 맞추는 데 도움이 되므로 대부분의 결함을 감지하는 동시에 잘못된 경보를 완화할 수 있습니다.

ROC 곡선(수신기 작동 특성 곡선): 다양한 분류 임계값에서 거짓 양품률에 대해 참 양품률(리콜)을 그리는 그래프입니다.

실제 시나리오: 의료용 주사기 생산 시 머신 비전 시스템은 바늘 오정렬과 같은 결함을 검사합니다. 시스템은 ROC 곡선을 사용하여 민감도를 조정하여 모든 중요한 오정렬(높은 리콜)을 감지하는 동시에 잘못된 경보를 최소화하여 결함이 있는 주사기만 당겨져 생산 효율성을 유지할 수 있습니다.

곡선하 면적(AUC): ROC 곡선을 요약한 단일 값으로, 모델이 클래스를 얼마나 잘 구별하는지를 나타냅니다. AUC가 높을수록 성능이 더 우수함을 나타냅니다.

실제 시나리오: 제품 결함(플라스틱 병의 균열 등)을 검출하도록 훈련된 딥러닝 모델의 경우, AUC는 균열된 병(양성 등급)과 균열되지 않은 병(음성 등급)을 얼마나 잘 구별할 수 있는지 평가했다. AUC가 높을수록 이 모델이 균열된 병을 식별하는 데 더 효과적임을 나타낸다.

로그 손실(대수 손실): 예측이 0과 1 사이의 확률 값이며 로그 손실 값이 낮을수록 모델 성능이 향상됨을 나타내는 분류 모델의 성능입니다.

실제 시나리오: 식품 포장 라인에서 센서는 밀봉된 파우치의 누출과 같은 결함을 예측합니다. 모델이 누출 가능성을 85%로 예측하지만 파우치가 온전한 경우 로그 손실은 잘못된 신뢰도 예측에 불이익을 줍니다. 로그 손실 값이 낮을수록 모델이 결함을 신뢰성 있게 예측하여 불필요한 검사를 최소화하고 결함이 있는 파우치만 재작업 플래그가 지정되었음을 나타냅니다.

교차 엔트리 손실: 일반적으로 실제 레이블과 예측 확률 사이의 두 확률 분포 간의 차이를 정량화합니다.

실제 시나리오: 스마트폰 조립 라인에서 모델은 화면에 긁힘 또는 균열이 있는지 예측합니다. 실제 균열을 흠집으로 예측하는 경우 교차 엔트로피 손실은 오류의 심각도로 인해 이 잘못된 예측에 불이익을 줍니다. 이를 통해 모델이 정확도를 개선하고 결함 감지 정밀도를 높이고 많은 비용을 요하는 어셈블리 오류를 최소화할 수 있습니다.