최신 AI 강의! CS 194/294-280 고급 LLM 에이전트 완벽 해설

게시일: 2025년 02월 10일 작성자: 자청의 유튜브 추출기

AI, 똑똑해지는 비결은?

요즘 AI 정말 많이 쓰지? 그림도 그리고, 코딩도 하고, 편지도 쓰고, 질문도 하고, 아이디어도 얻고! 이게 다 얼마 전부터 가능해진 일인지 몰라. AI 연구하는 사람들은 정말 좋은 시대에 살고 있는 것 같아. AI가 실시간으로 발전하는 걸 직접 볼 수 있으니까 말이야.

근데 아직도 AI가 더 발전할 부분이 많다고 생각해. 앞으로 몇 년 안에 더 놀라운 발전이 있을 거라고 예상돼. 특히 최근 몇 달 동안에도 '체인 오브 씽킹(Chain of Thought)' 같은 새로운 방식들이 나오면서 추론 능력이 엄청나게 좋아졌거든.

이런 AI를 더 똑똑하게 만드는 방법, 특히 스스로 학습해서 더 나아지는 방법에 대해 이야기해 볼게.

AI, 스스로 공부하는 법

AI가 스스로 공부하려면 '자기 성찰'이 필요해. 예전에는 정해진 데이터만 보고 배우는 방식이었는데, 이제는 좀 달라지고 있어.

강화학습 (Reinforcement Learning): AI가 스스로 문제를 만들고, 그 문제를 풀면서 스스로 평가하고, 틀린 부분을 고쳐나가면서 배우는 방식이야. 이걸 '자기 보상(Self-rewarding)'이라고도 해. 이렇게 하면 AI는 더 많은 지식과 추론 능력을 얻게 되지.

AI의 두 가지 생각 방식: 시스템 1 vs 시스템 2

AI의 똑똑해지는 방식을 두 가지로 나눠볼 수 있어.

시스템 1 (빠르고 직관적인 생각):
- 사람으로 치면 무의식적으로 떠오르는 생각이나 연상 작용 같은 거야.
- AI에서는 신경망(Transformer)이 데이터를 처리하는 방식이라고 볼 수 있어. 복잡한 계산을 빠르게 해서 바로 답을 내놓지.
- 문제점: 가끔 엉뚱한 연관성을 배우거나, 환각(없는 사실을 만들어내는 것), 탈옥(안전장치를 우회하는 것) 같은 문제가 생길 수 있어.
시스템 2 (느리고 신중한 생각):
- 사람으로 치면 깊이 생각하고 계획하는 과정이야.
- AI에서는 '체인 오브 씽킹(Chain of Thought)'처럼, 답을 바로 내놓기 전에 여러 단계의 생각을 거쳐서 나오는 방식이야.
- 이런 방식은 계획, 검색, 검증 등 복잡한 추론을 가능하게 해.

우리는 이 두 가지 시스템을 개선해서 AI를 더 똑똑하게 만들 수 있어. 모델 자체를 개선하거나, 아니면 체인 오브 씽킹 같은 중간 생각 과정을 더 잘하도록 훈련하는 거지.

AI 발전의 역사: 어디까지 왔나?

AI, 특히 언어 모델(Language Model)의 발전은 꽤 오래됐어.

초창기 (1950년대 ~ 2000년대 초): 언어 모델 자체는 클로드 섀넌이 1950년대에 이미 이야기했어. 단어 다음에 어떤 단어가 올지 예측하는 방식이었지. 2003년에는 신경망을 이용한 언어 모델 연구가 시작됐어.
신경망의 부상 (2008년 ~ 2013년): 2008년쯤에는 신경망을 써서 언어 처리 문제를 푸는 게 좋다는 연구가 나왔고, 2013년에는 워드 임베딩(Word Embedding) 같은 기술이 등장했어.
어텐션 메커니즘과 트랜스포머 (2014년 ~ 2017년): 2014년에 나온 어텐션 메커니즘은 번역 같은 작업에서 단어 간의 관계를 파악하는 데 큰 도움을 줬고, 2017년에는 이 어텐션 메커니즘을 기반으로 한 트랜스포머(Transformer)가 등장했어. 이게 지금 우리가 쓰는 대부분의 AI 모델의 기본 구조야.
대규모 언어 모델의 시대 (2018년 ~ 현재): 2018년 BERT를 시작으로 GPT 시리즈처럼 엄청나게 큰 데이터와 모델로 학습하는 방식이 대세가 됐어. '스케일링 가설(Scaling Hypothesis)'이라고 해서, 모델이 크고 데이터가 많으면 성능이 좋아진다는 믿음이 현실이 된 거지.

더 똑똑해지기 위한 노력: 강화학습과 피드백

최근에는 단순히 언어 모델 학습만으로는 부족하다는 걸 깨닫고, 다른 학습 방법들을 연구하고 있어.

인간 피드백 기반 강화학습 (RLHF - Reinforcement Learning from Human Feedback): AI가 만든 여러 답변 중에 어떤 게 더 좋은지 사람이 평가하고, 그 피드백으로 AI를 더 좋게 만드는 방식이야. InstructGPT 같은 모델이 이 방식을 사용했지.
직접 선호도 최적화 (DPO - Direct Preference Optimization): RLHF보다 좀 더 간단한 방식인데, 어떤 답변이 더 좋은지에 대한 선호도 데이터만 가지고 AI를 바로 학습시키는 거야.

이런 방식들 덕분에 AI는 지시를 더 잘 따르게 됐어. 하지만 아직 체인 오브 씽킹 같은 '시스템 2' 추론 능력은 부족했지.

체인 오브 씽킹: AI의 깊은 생각

AI가 더 똑똑하게 생각하도록 만드는 방법으로 '체인 오브 씽킹(Chain of Thought)'이 주목받고 있어.

Few-shot Prompting: AI에게 몇 가지 예시를 보여주면서, 답을 바로 내놓지 말고 생각하는 과정을 보여달라고 하는 거야. 예를 들어 수학 문제를 풀 때, 풀이 과정을 함께 보여주는 거지.
"Let's think step by step": 그냥 이렇게 말만 해줘도 AI가 생각하는 과정을 보여주면서 더 정확한 답을 내놓는다는 연구도 있어.
체인 오브 검증 (Chain of Verification): AI가 처음 내놓은 답변이 틀렸을 경우, 스스로에게 질문을 던지고 검증하는 과정을 거쳐서 정확한 답변을 찾아내는 방식이야. 예를 들어, "마이클 블룸버그는 뉴욕에서 태어났나?" 같은 질문을 스스로에게 던져서 확인하는 거지.
시스템 2 어텐션 (System 2 Attention): AI가 편향된 정보나 관련 없는 정보에 영향을 받지 않도록, 생각하는 과정에서 불필요한 부분을 걸러내는 방식이야.

이런 체인 오브 씽킹 방식은 수학 문제뿐만 아니라, 사실 확인, 편견 제거 등 다양한 문제 해결에 도움을 줄 수 있어.

AI, 스스로를 훈련시키다: 자기 보상 모델

AI가 점점 더 똑똑해지면서, 사람이 일일이 피드백을 주는 것도 한계가 있어. 그래서 AI가 스스로를 평가하고 훈련시키는 방식이 중요해지고 있어.

자기 보상 언어 모델 (Self-rewarding Language Models): AI가 스스로 만든 답변에 대해 점수를 매기고, 그 점수를 바탕으로 스스로를 개선하는 방식이야.
LLM as a Judge: AI가 다른 AI의 답변을 평가하는 역할을 하는 거야. 마치 사람이 평가하는 것처럼 말이지.
반복적인 학습:
1. AI가 스스로 새로운 문제를 만들고,
2. 그 문제에 대한 여러 답변을 생성하고,
3. 'LLM as a Judge'를 이용해 각 답변의 점수를 매기고,
4. 가장 높은 점수를 받은 답변을 '정답'으로 삼아 학습하는 거야.
  이 과정을 반복하면서 AI는 점점 더 똑똑해져.

이런 방식으로 학습하면 AI는 지시를 따르는 능력과 평가 능력이 모두 향상돼. 특히 수학이나 코딩 같은 검증 가능한 문제에서는 더 효과적이야.

더 나아가서: 메타 보상과 생각하는 AI

AI를 더 발전시키기 위한 연구는 계속되고 있어.

메타 보상 언어 모델 (Meta-rewarding Language Models): AI가 스스로의 평가 결과를 다시 평가해서, 더 나은 평가 기준을 만들도록 학습하는 거야. 마치 자기 평가를 더 잘하게 되는 거지.
생각하는 LLM (Thinking LLM): AI가 단순히 답변만 하는 게 아니라, 답변을 하기 전에 계획을 세우고, 초안을 작성하고, 평가하는 과정을 거치도록 훈련하는 거야. 이건 수학 문제뿐만 아니라 시를 쓰거나 정보를 찾는 등 다양한 작업에 적용될 수 있어.
벡터 기반 추론 (Vector-based Reasoning): 체인 오브 씽킹이 꼭 글로만 이루어질 필요는 없어. 신경망 내부에서 처리되는 벡터 자체를 이용해 추론하는 방식도 연구되고 있어.

앞으로의 AI는?

AI는 계속해서 발전할 거야.

에이전트 (Agents): 스스로 목표를 세우고, 계획하고, 행동하는 AI 에이전트가 중요해질 거야.
합성 데이터 (Synthetic Data): AI가 스스로 데이터를 만들어서 학습하는 방식도 더 발전할 거고.
추론과 이해 (Reasoning and Understanding): AI가 단순히 패턴을 인식하는 것을 넘어, 진정한 의미를 이해하고 추론하는 능력이 중요해질 거야.
자기 인식 (Self-awareness): 이건 좀 더 먼 미래의 이야기일 수 있지만, AI가 스스로를 이해하고 아는 능력을 갖추는 것도 연구될 수 있어.

가장 중요한 건 AI가 스스로를 평가하고 개선하는 능력이야. 이게 AI 성능 향상의 병목 현상을 해결해 줄 수 있거든. 앞으로 AI가 얼마나 더 똑똑해질지, 정말 기대되지 않아?

AI 채팅