[데이터 분석] 2-5단계: 범주형/수치형 데이터 구조 핵심 점검! 이상치 찾는 시각화 팁 대방출!

혼자서도 잘해요! 변수 하나 깊이 파고들기 (일변량 분석)

이번에는 데이터 프레임 전체 말고, 딱! 변수 하나만 집중해서 파헤쳐 볼 거야. 이걸 일변량 분석이라고 불러. 변수가 숫자(수치형)인지, 아니면 몇 가지 정해진 말(범주형)인지에 따라 분석 방법이 달라.

1. 숫자 변수 (수치형) 분석하기

숫자로 된 변수는 통계량이나 그래프로 볼 수 있어.

• 통계량으로 보기:

  • count: 몇 개인지 세기
  • mean: 평균값
  • std: 표준 편차 (얼마나 퍼져 있는지)
  • min: 최솟값
  • 25%: 1사분위수 (데이터를 4등분했을 때 첫 번째 기준)
  • 50%: 중앙값 (데이터를 반으로 나눈 값)
  • 75%: 3사분위수 (데이터를 4등분했을 때 세 번째 기준)
  • max: 최댓값

  예시: 타이타닉 데이터에서 '나이'와 '요금'의 평균, 중앙값, 최댓값, 최솟값 등을 볼 수 있어.

• 그래프로 보기:

  • 히스토그램: 숫자가 어떻게 분포되어 있는지 막대그래프로 보여줘. 나이 분포를 볼 때 유용해.
  • 박스 플롯: 데이터의 분포, 중앙값, 그리고 이상치를 한눈에 볼 수 있어.

2. 이상치란 뭘까?

결측치는 데이터가 아예 없는 거고, 이상치는 다른 데이터들과 너무 동떨어진, 뭔가 이상한 값이야. 박스 플롯으로 이런 이상치를 쉽게 찾을 수 있어.

• 박스 플롯 해석:

  • 가운데 선: 중앙값
  • 박스의 아래쪽 선: 1사분위수
  • 박스의 위쪽 선: 3사분위수
  • 박스의 길이: IQR (1사분위수와 3사분위수의 차이)
  • 박스 밖의 점들: 이상치!

  IQR의 1.5배를 1사분위수에서 빼거나 3사분위수에 더한 범위를 벗어나는 값들이 이상치로 간주돼.

3. 말로 된 변수 (범주형) 분석하기

정해진 몇 가지 말로 된 변수는 '빈도표'나 '막대 그래프'로 볼 수 있어.

• 빈도표 (Value Counts):

  • 각 항목이 몇 개씩 있는지 세어주는 거야.
  • normalize=True 옵션을 주면 비율로도 볼 수 있어. (전체 합이 1이 되도록)

  예시: 성별(남/여), 좌석 등급(1등석/2등석/3등석), 승선 항구(S/C/Q)별로 몇 명인지 볼 수 있어.

• 막대 그래프 (Count Plot):

  • 빈도표를 그래프로 보기 좋게 그려주는 거야. 성별, 좌석 등급, 승선 항구별 분포를 시각적으로 확인할 수 있어.

4. 분포 모양 살펴보기 (외도 & 첨도)

데이터가 얼마나 비대칭적인지, 꼬리가 얼마나 두꺼운지를 보는 것도 중요해.

• 외도 (Skewness): 분포가 왼쪽이나 오른쪽으로 얼마나 치우쳐 있는지 나타내. 0이면 대칭적이야.
• 첨도 (Kurtosis): 분포의 꼬리가 얼마나 두꺼운지 나타내. 뾰족할수록 꼬리가 두꺼워.

이런 외도와 첨도를 계산해서 데이터가 정규분포와 얼마나 다른지 알 수 있어.

5. 정규분포인지 시각적으로 확인하기 (KDE 그래프)

KDE (Kernel Density Estimation) 그래프는 데이터의 분포를 부드러운 곡선으로 보여줘. 이걸로 데이터가 왼쪽으로 치우쳤는지, 오른쪽으로 치우쳤는지 등을 눈으로 직접 확인할 수 있어.

마무리

일변량 분석은 변수 하나하나를 깊이 이해하는 과정이야. 변수가 숫자형인지, 범주형인지에 따라 다른 방법으로 분석하고, 이상치나 분포 모양을 눈으로 직접 확인하는 게 중요해. 이렇게 변수 하나를 잘 이해하면 나중에 여러 변수 사이의 관계를 파악하는 데 큰 도움이 될 거야!