5가지 모델 성능 한눈에! ROC, 혼동 행렬로 예측 결과 시각화 비교하며 데이터 인사이트 발견!
머신러닝 모델 결과 시각화로 비교하고 해석하기
이번 시간에는 우리가 지금까지 만들었던 머신러닝 모델들이 얼마나 잘 작동하는지 숫자로만 보는 게 아니라, 그래프로 한눈에 비교하고 왜 그런 결과가 나왔는지 이해하는 방법을 배울 거야.
학습 목표
- 모델 예측 결과 시각적으로 비교하기: 여러 모델의 예측 결과를 그래프로 보면서 비교할 수 있게 될 거야.
- 혼동 행렬, ROC 곡선, 특성 중요도 이해하기: 이 용어들이 각각 뭘 의미하는지 알게 될 거야.
- 시각화로 모델 강점/약점 파악하기: 그래프를 보고 모델이 잘하는 부분과 못하는 부분을 찾아낼 수 있을 거야.
실습 준비
- 데이터: 지난번처럼 '와인 데이터셋'을 사용할 거야. 데이터를 학습용과 테스트용으로 나누는 이유는 모델이 처음 보는 데이터에서도 얼마나 잘 맞추는지 공정하게 평가하기 위해서야.
- 모델: 이번에 비교할 모델은 랜덤 포레스트, 그레디언트 부스팅, XG 부스트, 라이트 GBM이야. 이 모델들은 모두 '트리'를 기반으로 하는 앙상블 모델인데, 학습하는 방식이나 최적화하는 방법이 조금씩 달라.
모델 성능 비교 및 해석
1. 정확도 비교
먼저 각 모델을 학습시키고 정확도를 비교해 볼 거야.
- 막대 그래프: 이 그래프를 보면 각 모델의 정확도를 한눈에 비교할 수 있어. 어떤 모델이 전반적으로 성능이 좋은지 대략적인 흐름을 파악할 수 있지.
2. 혼동 행렬 (Confusion Matrix)
이건 모델이 어떤 종류의 데이터를 어떻게 틀리는지 자세히 보여주는 표야.
- 행: 실제 정답
- 열: 모델이 예측한 값
핵심: 대각선에 숫자가 많이 몰려 있을수록 모델이 정확하게 예측했다는 뜻이야. 단순히 정확하다, 틀리다만 보는 게 아니라, 어떤 클래스에서 유독 많이 틀리는지, 어떤 클래스끼리 헷갈려 하는지를 함께 봐야 해. 이 정보는 모델을 더 좋게 만들거나 데이터를 보완할 방향을 잡는 데 아주 중요해.
3. ROC 곡선 (Receiver Operating Characteristic Curve)
이 그래프는 모델이 얼마나 '공격적으로' 양성이라고 판단하는지를 보여줘.
- 민감도 (Sensitivity): 실제 양성인 것 중에서 모델이 양성이라고 맞춘 비율
- 위양성 비율 (False Positive Rate): 실제 음성인 것 중에서 모델이 양성이라고 잘못 예측한 비율
핵심: ROC 곡선 아래의 면적인 AUC (Area Under the Curve) 값이 중요해. 이 값은 모델의 분류 성능을 하나의 숫자로 요약해 주는데, 1에 가까울수록 좋고 0.5에 가까울수록 무작위로 찍는 것과 비슷해. 그래프에서는 각 모델의 곡선이 얼마나 위쪽으로 휘어져 있는지를 보고 성능을 비교할 수 있어.
4. 특성 중요도 (Feature Importance)
트리 기반 모델의 큰 장점 중 하나는 어떤 변수(특성)를 중요하게 사용했는지를 숫자로 보여줄 수 있다는 거야.
- 그래프: 이 그래프를 보면 어떤 화학 성분이 와인 분류에 가장 큰 영향을 미쳤는지 알 수 있어. 이 정보는 모델을 이해하고, 어떤 변수가 중요한지 파악하고, 해당 분야(도메인)를 이해하는 데 큰 도움이 돼.
5. 성능 요약표 (정확도 + F1 스코어)
마지막으로 정확도와 F1 스코어를 함께 정리한 표를 볼 거야.
- F1 스코어: 데이터에 특정 클래스가 너무 많거나 적을 때 (클래스 불균형) 정확도보다 더 믿을 만한 지표야.
핵심: 실제 보고서에는 이렇게 여러 지표를 함께 제시하는 것이 중요해.
이번 시간 핵심 정리
- 정확도: 전체 성능을 빠르게 파악할 때 좋아.
- 혼동 행렬: 모델이 어떤 부분에서 틀리는지 자세히 알려줘.
- ROC 곡선 & AUC: 모델의 분류 성능 한계와 안정성을 보여줘.
- 특성 중요도: 모델이 어떤 변수를 중요하게 생각하는지 알려줘서 모델을 해석하는 데 도움을 줘.
이제 우리는 모델 성능을 단순히 숫자로만 보는 게 아니라, 그래프를 통해 직관적으로 이해하고 설명할 수 있게 되었어! 수고 많았어!