데이터 분석 초보 필독! 2단계, 데이터 구성 꿀팁과 핵심 점검으로 완벽 시작!

데이터 탐색, 어렵지 않아! 😎

데이터를 불러왔으면 이제 그 데이터가 어떻게 생겼는지 알아보는 게 중요해. 마치 새로운 친구를 만났을 때 이름, 나이, 취미 같은 걸 물어보는 것처럼 말이야. 이걸 '데이터 구성 확인'이라고 하는데, 이걸 잘 해둬야 나중에 데이터를 가지고 뭘 할지 결정하기 쉬워.

1. 데이터, 얼마나 크고 어떤 게 있나? 🤔

• shape: 데이터가 몇 줄(행)이고 몇 칸(열)인지 알려줘.
• columns: 데이터에 어떤 칸(컬럼)들이 있는지 이름만 쭉 보여줘.
• dtypes: 각 칸이 숫자형인지, 글자형인지 같은 자료형을 알려줘.
• info(): 이건 진짜 만능이야! 데이터 크기, 컬럼 이름, 자료형, 그리고 결측치(빈칸)까지 한눈에 보여줘. 나이(Age)나 객실 등급(Deck) 같은 칸에 빈칸이 있는지 여기서 바로 알 수 있어. 빈칸이 많으면 나중에 분석할 때 문제가 생길 수 있으니 꼭 확인해야 해!

2. 숫자 데이터, 어떤 특징이 있을까? 📊

• describe(): 숫자 데이터만 모아서 평균, 제일 작은 값, 제일 큰 값, 그리고 중간값 같은 통계 정보를 보여줘.
• describe(include='object'): 글자 데이터(범주형 데이터)의 특징도 보고 싶으면 이걸 써봐. 글자 데이터는 평균 같은 건 없지만, 어떤 종류의 글자가 있는지, 제일 많이 나온 글자는 뭔지 같은 걸 알려줘.

3. 빈칸(결측치)은 얼마나 있을까? 🧐

• 결측치 개수 세기: 각 칸마다 빈칸이 몇 개인지 직접 세어볼 수 있어.
• 결측치 비율 계산: 전체 데이터에서 빈칸이 차지하는 비율을 계산하면 얼마나 심각한지 알 수 있지. 나이나 객실 등급에 빈칸이 엄청 많다는 걸 여기서 알 수 있을 거야.
• 결측치 히트맵: 빈칸들을 그림으로 그려서 보여주는 건데, 어디에 빈칸이 몰려 있는지 한눈에 파악하기 좋아.

4. 똑같은 데이터는 없을까? (중복 데이터) 👯‍♀️

• duplicated().sum(): 똑같은 데이터 줄이 몇 개 있는지 세어봐.
• drop_duplicates(): 똑같은 데이터 줄이 있으면 그걸 지워줘. 중복된 데이터를 지우고 나면 데이터 개수가 줄어드는 걸 볼 수 있을 거야.

5. 각 칸에는 어떤 종류의 데이터가 있을까? 🌈

• 고유값 개수 세기: 각 칸마다 서로 다른 값이 몇 개 있는지 세어봐. 성별이나 생존 여부처럼 딱 두 가지 종류만 있는 칸은 고유값 개수가 2개로 나올 거야.
• countplot(): 고유값의 개수를 그래프로 그려서 보여줘. 예를 들어, 객실 등급별로 사람이 얼마나 많은지 쉽게 알 수 있지. 3등석에 사람이 제일 많다는 걸 그림으로 보면 확 와닿을 거야.

6. 데이터 샘플 살펴보기 📖

• head() / tail(): 데이터의 앞부분이나 뒷부분 몇 줄을 보여줘.
• sample(): 데이터를 무작위로 몇 개 뽑아서 보여줘. 실제 데이터가 어떻게 생겼는지 대략적으로 파악하는 데 도움이 돼.

정리하자면, 데이터를 불러온 후에는 꼭!

• 데이터 크기 확인
• 어떤 컬럼들이 있는지 확인
• 자료형 확인
• 결측치(빈칸) 확인
• 숫자 데이터 통계 요약
• 결측치 개수 및 비율 확인
• 중복 데이터 확인
• 각 컬럼별 다양성(고유값 개수) 확인

이런 것들을 꼭 점검해야 해. 그래야 앞으로 데이터를 어떻게 다듬고 분석할지 계획을 세울 수 있거든! 😊