[CV] Top 1 error, Top 5 error 이미지 분류 모델 평가 지표 해설, 정리, 요약

---

안녕하세요, HELLO

 

이미지 분류 (Image classification) 문제에서 볼 수 있는 top 1 error와 top 5 error에 대해서 살펴보고자 합니다.

---

CHAPTER 1. 'Top 1 error, Top 5 error' 정리

 

CHAPTER 2. 'Top 5 error' 모델 성능에서의 의의

 

 

CHAPTER 1. 'Top 1 error', 'Top 5 error' 정리

 

 

Top 1 error와 Top 5 error는 이미지 분류 (image classification) 성능을 평가 기준입니다. 분류기 (classifier) 모델은 주어진 이미지가 어떤 클래스 (class)에 속하는지 분류해 낼 것입니다. 이때 예측 (predicted)한 에서 상위 1개의 값이 실제 정답과 같다면, top 1 error는 0%로, 상위 5개의 값 중에서 실제 정답과 같다면 top 5 error는 0%입니다.

 

즉, 모델의 상위 예측한 n개의 값에 실제 정답이 있는지 여부에 따라, top n error를 측정하게 됩니다.

 

top 1 error ImageNet

 

예를 들어, {고양이, 강아지, 비행기, 축구공, 자동차,...}와 같이 10개의 클래스로 훈련한 모델을 가정해 보겠습니다. 새로운 {비행기} 이미지를 분류기에 입력해줬는데, 0.6, 0.1, 0.2, 0.1, 0.0,... 와 같은 결과를 냈다면, 모델은 {고양이}로 분류할 것입니다. 이때 top1 class는 {고양이}가 되어, top 1 error는 100%가 됩니다. 반면에 분류기가 예측한 상위 5개 top 5 class는 {고양이, 강아지, 비행기, 축구공, 자동차}로, 즉 top 5 class에 실제 클래스인 {비행기}를 포함하기에 이때 top 5 error는 0%가 됩니다.

 

10개의 예시 이미지 분류기에 비해, 일반적인 분류기의 대상은 훨씬 많습니다. 대표적인 이미지 데이터셋인 ImageNet은 1000개의 클래스로, 훈련된 분류기의 성능을 top 1 error와 더불어 top 5 error를 통해서도 평가하고 있습니다. 클래스가 많을수록 예측한 상위 5개의 클래스는 서로 상당히 유사한 것들일 가능성이 큽니다. 모두 강아지인데 조금씩 생김새가 다른 품종일 수도 있습니다. 따라서 top-5 error가 낮으면 분류기의 성능이 좋다고 판단할 수 있는 것입니다.

 

---

CHAPTER 2. 'Top 5 error' 모델 성능에서의 의의

 

 

top 5 error ImageNet

 

모델의 성능을 판단함에 있어 상위 1개의 예측값을 가지고 평가하는 것이 가장 일반적인 방법입니다. 이미지 분류에서 Top 5 error로 분석하면, 가능한 예측 범위를 고려할 때 모델이 얼마나 잘 수행되는지 이해하는데 도움이 되므로 모델의 견고성과 정확성에 대한 통찰력을 얻을 수 있다고 생각합니다.

 

즉, Top 5 error 단독으로 모델의 성능을 평가하는 것이 아니라, 궁극적으로 Top 1 error 성능을 향상하기 위해, 전반적인 모델 오류를 식별하고 해결할 수 있도록 도와주는 추가적인 지표로 판단됩니다.

 

반응형

 

■ REFERECNCE

 

https://paperswithcode.com/task/image-classification

https://bskyvision.com/entry/top-5-error%EC%99%80-top-1-error%EC%9D%98-%EC%9D%98%EB%AF%B8

---

■ 마무리

 

'Top 1 error, Top 5 error 이미지 분류 모델 평가 지표'에 대해서 정리해 봤습니다.

 

그럼 오늘 하루도 즐거운 나날 되길 기도하겠습니다

좋아요와 댓글 부탁드립니다 :)

 

감사합니다.