AI 이제 그만 아는 척! 비개발자도 AX 전문가 되는 법 공개 (5강)
컴퓨터가 스스로 학습한다는 건 뭘까? (AI의 탄생 이야기)
옛날 옛날 아주 먼 옛날, 컴퓨터는 사람이 시키는 대로만 했어. 마치 로봇처럼 말이야. 예를 들어, "이메일이 왔으면 이걸 보여줘" 같은 식으로 말이지. 이걸 규칙 기반 시스템이라고 불러.
규칙 기반 시스템의 한계: 왜 컴퓨터가 똑똑해져야 했을까?
그런데 세상에는 규칙으로 딱딱 정하기 어려운 문제들이 엄청 많았어.
- 고양이 사진을 보고 "이건 고양이야!"라고 알아맞히는 것: 고양이 귀가 뾰족해야 한다고 규칙을 만들면, 귀가 접힌 고양이는 못 알아봐. 수염이 있어야 한다고 하면, 수염 짧은 개는? 이렇게 예외가 너무 많고, 규칙을 다 만들려면 끝도 없어. 이걸 조합 폭발이라고 해.
- 친구 목소리를 알아듣는 것: 사람 목소리는 다 다르잖아. 똑같은 말도 누가 하느냐에 따라 느낌이 다르지. 이걸 다 규칙으로 만들 순 없어.
- 이메일이 스팸인지 아닌지 판단하는 것: "무료"라는 단어가 들어가면 스팸이라고 규칙을 만들면, 스팸 보내는 사람들이 "무료!"처럼 다른 단어를 쓰면서 규칙을 피해버려. 규칙을 계속 추가해도 오히려 더 취약해지는 거지. 이걸 규칙 과적합이라고도 해.
결국, 사람이 모든 경우의 수를 생각해서 규칙을 만드는 건 불가능하다는 걸 깨달았어.
머신러닝의 등장: "데이터를 보여주면 스스로 배울 거야!"
그래서 나온 생각이 이거야. "규칙을 사람이 직접 짜는 대신, 컴퓨터한테 데이터를 잔뜩 보여주면 스스로 규칙을 찾아내게 할 수 있지 않을까?" 이게 바로 머신러닝의 시작이야.
머신러닝은 데이터를 보고 거기서 패턴을 배워서 새로운 데이터에 대해 예측하거나 판단하는 거야.
- 기존 방식: 데이터 + 사람이 만든 규칙 = 결과
- 머신러닝: 데이터 + 정답 = 규칙 (모델)
컴퓨터한테 스팸 메일이랑 정상 메일을 잔뜩 주고, "이건 스팸이야", "이건 정상이야"라고 알려주면, 컴퓨터가 알아서 스팸 메일을 구분하는 규칙을 수학적으로 찾아내는 거지. 이걸 학습(트레이닝)이라고 하고, 학습 결과물을 모델이라고 불러.
머신러닝은 추천 시스템 (넷플릭스, 유튜브), 신용 평가, 이상 탐지 (카드 부정 사용 감지) 같은 곳에 쓰이기 시작했어.
딥러닝의 등장: "특징 추출까지 스스로 할 거야!"
그런데 머신러닝도 한계가 있었어. 데이터를 그냥 주는 게 아니라, 특징(Feature)이라는 걸 뽑아서 줘야 했거든. 예를 들어 스팸 메일이라면 "특정 단어 빈도", "발신자 도메인" 같은 걸 사람이 직접 정해줘야 했어. 이걸 피처 엔지니어링이라고 하는데, 이 피처를 어떻게 뽑느냐에 따라 모델 성능이 확 달라졌지.
특히 이미지나 음성처럼 복잡한 데이터에서는 사람이 의미 있는 피처를 뽑기가 너무 어려웠어.
그래서 나온 게 딥러닝이야. 딥러닝은 머신러닝의 한 종류인데, 가장 큰 차이점은 피처 추출까지 컴퓨터가 스스로 한다는 거야!
딥러닝은 인공신경망이라는 구조를 사용해. 사람 뇌의 신경망을 본뜬 건데, 여러 개의 뉴런들이 층층이 쌓여 있는 구조야.
- 이미지 인식 예시: 고양이 사진을 넣으면, 처음 층에서는 선이나 모서리 같은 간단한 특징을 찾아. 중간 층에서는 귀, 눈 같은 부위를 찾고, 깊은 층으로 갈수록 고양이 얼굴 전체 같은 더 복잡한 특징을 찾아내. 마지막에는 "이건 고양이일 확률 97%야!"라고 알려주는 거지.
'딥(Deep)'이라는 이름처럼, 층이 깊을수록 더 복잡한 걸 배울 수 있어.
딥러닝이 폭발적으로 발전한 이유: 데이터, GPU, 오픈소스
딥러닝의 핵심 아이디어는 1980년대에도 있었는데, 왜 2010년대에 갑자기 폭발했을까? 세 가지 이유가 있어.
- 엄청난 양의 데이터: 인터넷, 스마트폰 때문에 우리가 만든 사진, 글, 영상 같은 데이터가 어마어마하게 쌓였어. 특히 레이블(정답 표시)이 붙은 데이터가 중요했지.
- GPU의 발전: 컴퓨터 부품 중에 GPU라는 게 있는데, 원래 게임 그래픽을 빠르게 보여주려고 만든 거야. 그런데 딥러닝에서 엄청 많이 하는 복잡한 계산(행렬 곱셈)을 GPU가 엄청 빠르게 할 수 있다는 걸 알게 된 거지. 덕분에 몇 주 걸릴 학습을 며칠 만에 끝낼 수 있게 됐어.
- 클라우드와 오픈소스: 비싼 GPU를 직접 사지 않아도 클라우드에서 빌려 쓸 수 있게 됐고, 텐서플로우, 파이토치 같은 딥러닝 도구들이 공짜로 풀렸어. 덕분에 누구나 쉽게 딥러닝을 연구하고 개발할 수 있게 된 거야.
이 세 가지가 딱 맞아떨어진 2010년대에 딥러닝이 엄청난 발전을 이뤘어. 이미지 인식, 음성 인식, 번역, 게임 (알파고!), 의료 영상 분석 등 거의 모든 분야에서 놀라운 성과를 냈지.
딥러닝의 한계와 LLM의 등장: "하나의 모델로 여러 일을 할 수 없을까?"
하지만 딥러닝 모델들은 대부분 특정 작업만 잘하는 전용 모델이었어. 이미지 인식 모델은 번역을 못 했고, 번역 모델은 의료 영상을 분석 못 했지.
그리고 또 하나의 큰 문제는 레이블된 데이터가 꼭 필요했다는 거야. 이걸 만드는 데 돈과 시간이 엄청 들었어.
그래서 나온 질문이 이거야. "하나의 모델이 언어를 중심으로 여러 가지 일을 할 수 없을까? 레이블 없이도 언어를 배울 수 있다면?"
이 질문이 바로 지금 우리가 쓰는 LLM (거대 언어 모델)으로 가는 길을 열었어.
언어 처리의 어려움과 발전: 단어에서 문맥으로
컴퓨터는 숫자만 이해해. 그래서 언어도 숫자로 바꿔야 하는데, 처음에는 단어마다 번호를 매기는 방식(원핫 인코딩)을 썼어. 그런데 "고양이"랑 "강아지"는 비슷한 의미인데, 숫자만으로는 컴퓨터가 그걸 알 수 없었지.
2013년에 나온 Word2Vec은 단어를 벡터 공간에 표현해서 비슷한 단어는 가깝게, 다른 단어는 멀게 배치했어. "왕 - 남자 + 여자 = 여왕" 같은 신기한 연산도 가능해졌지. 이걸 인베딩이라고 해.
하지만 Word2Vec은 문맥에 따라 뜻이 달라지는 단어(예: "배가 고프다"의 '배'와 "배가 떠 있다"의 '배')를 제대로 처리하지 못했어.
이후 RNN, LSTM 같은 모델들이 순서가 중요한 데이터를 처리하는 데 쓰였지만, 긴 문장을 기억하는 데 한계가 있고 컴퓨터로 동시에 처리하기 어렵다는 단점이 있었어.
트랜스포머의 등장: "Attention is all you need!"
2017년에 나온 트랜스포머라는 구조가 이 모든 한계를 한 번에 뛰어넘었어. 이게 바로 다음 강의에서 다룰 내용이고, GPT 같은 LLM의 탄생을 가능하게 했지!
오늘 강의 요약:
- 규칙 기반 시스템: 사람이 규칙을 직접 짜는 방식. 논리가 명확한 건 잘하지만, 복잡한 건 어려움.
- 머신러닝: 데이터를 보고 스스로 패턴을 배워서 예측. 피처 엔지니어링은 사람이 해야 함.
- 딥러닝: 피처 추출까지 스스로 학습. 데이터, GPU, 오픈소스 덕분에 폭발적으로 발전. 하지만 특정 작업만 잘함.
- LLM (거대 언어 모델): 하나의 모델로 여러 일을 하고, 레이블 없이 언어를 학습하는 방향으로 발전 중. 트랜스포머가 핵심 기술.
결국 AI 기술은 사람이 규칙을 만드는 것에서 데이터를 보고 표현을 배우는 것으로 바뀌어 온 거야. 이제 우리가 매일 쓰는 챗GPT 같은 서비스로 이어지는 거지!