비개발자도 OK! 젬마4 RAG 챗봇 설계/코딩, AX 담당자라면 '이것' 필수!

레그(RAG) 강의 정리 (중학생 눈높이)

1. 왜 레그를 배울까? (LM의 한계 극복!)

지난 시간에 배운 LM(거대 언어 모델)은 똑똑하지만 몇 가지 아쉬운 점이 있었어.

• 환각 (Hallucination): 없는 사실을 막 지어내서 말하기도 해.
• 지식 단절: 훈련받은 데이터 이후의 정보는 전혀 몰라.
• 긴 글 처리 어려움: 너무 긴 문서는 한 번에 다 이해하지 못해.

이런 문제들을 해결하기 위해 나온 게 바로 레그(RAG)야!

2. 레그(RAG)란 뭘까?

RAG는 Retrieval Augmented Generation의 줄임말이야.

쉽게 말하면,

1. 검색 (Retrieval): 필요한 정보를 먼저 찾아내고,
2. 보강 (Augmented): 찾은 정보로 LM을 똑똑하게 만들어주고,
3. 생성 (Generation): 똑똑해진 LM이 답을 하는 거지.

마치 우리가 숙제할 때 모르는 건 책을 찾아보고 나서 답을 쓰는 것처럼 말이야!

3. 레그를 위한 첫걸음: 데이터 준비 (인제스천 계층)

레그를 하려면 먼저 데이터를 AI가 이해할 수 있는 형태로 바꿔야 해. 이걸 인제스천 계층이라고 불러.

• 텍스트 추출형: PDF, 워드 파일처럼 그냥 글자만 뽑으면 되는 쉬운 경우.
• OCR 필요형: 이미지로 된 문서나 스캔한 종이에서 글자를 인식해서 뽑아내는 경우.
• 구조화 데이터형: 엑셀이나 데이터베이스처럼 딱딱 정해진 형식의 데이터. 이건 레그보다 그냥 바로 검색하는 게 더 나을 수도 있어.
• 텍스트 외 데이터형: 캐드 도면, 이미지, 오디오처럼 글자가 아닌 데이터. 이건 더 복잡한 기술이 필요해.

이번 실습에서는 캐드 도면 데이터를 가지고 레그를 준비하는 과정을 보여줬어. 도면에서 글자도 뽑고, 이미지 분석도 해서 AI가 이해할 수 있는 정보로 바꾸는 거지.

4. 레그의 핵심 과정: 4단계

데이터 준비가 끝나면 이제 레그의 핵심 4단계를 거쳐.

1. 청킹 (Chunking): 긴 문서를 AI가 한 번에 처리할 수 있는 작은 덩어리(청크)로 나누는 거야. 마치 책을 단락별로 나누는 것처럼.
   • 주의할 점: 청크 크기가 너무 크면 관련 없는 정보가 같이 들어가고, 너무 작으면 맥락이 끊길 수 있어. 그래서 데이터 종류에 따라 적절한 크기와 방법을 잘 선택해야 해.
2. 인베딩 (Embedding): 나눠진 청크들을 AI가 이해할 수 있는 숫자(벡터)로 바꾸는 거야. 이걸로 비슷한 내용을 가진 청크들을 찾을 수 있게 돼.
   • 주의할 점: 한국어처럼 언어마다 잘 맞는 인베딩 모델이 따로 있어. 잘못된 모델을 쓰면 결과가 이상하게 나올 수 있지.
3. 검색 (Retrieval): 사용자가 질문하면, 질문과 가장 관련 있는 청크들을 인베딩된 숫자들을 비교해서 찾아내.
4. 생성 (Generation): 찾아낸 관련 청크들을 바탕으로 LM이 최종 답변을 만들어내.

이번 실습에서는 취업 규칙 문서를 가지고 청킹, 인베딩, 검색, 생성 과정을 보여줬어. 특히 연차 휴가에 대한 질문에 대해 문서에서 관련 조항을 잘 찾아서 답변하는 것을 확인할 수 있었지.

5. 레그 챗봇 만들기

마지막으로, 이렇게 만들어진 레그 시스템을 챗봇 UI로 만들어서 실제로 대화하는 것처럼 만들어 볼 수 있어.

• 프런트엔드: 우리가 보는 화면 (HTML)
• 백엔드: 화면 뒤에서 작동하는 로직 (API)
• 데이터베이스: 인베딩된 정보들을 저장하는 곳 (벡터 DB)

이렇게 해서 실제로 연차 휴가, 퇴직금, 심지어 문서에 없는 오늘의 주가에 대한 질문까지도 잘 처리하는 챗봇을 만들어봤어.

6. 다음 강의 예고: 오케스트레이션

이번 강의에서는 레그라는 하나의 파이프라인을 배웠지만, 실제 업무는 훨씬 복잡해. 그래서 다음 8강에서는 여러 AI 도구나 과정을 순서대로 잘 연결해서 복잡한 업무를 자동화하는 오케스트레이션에 대해 배울 거야. 마치 오케스트라 지휘자처럼 말이지!