프롬프트 엔지니어링의 무한 가능성! 강수진 박사와 미래 탐구

[음악] [박수] [음악] 안녕하세요.

 안녕.

 인터랙션 하면서 발표를 이어가도 될까요?이 이 시간까지 어 많은 세션을 들으셨을 것 같아서 좀 되게 피곤하고 지치셨을 것 같은데 중간중간 인터랙션을 말씀드릴테니까 호응으로 부탁드립니다.

 어 저는 오늘 프롬 엔지니어링으로 어디까지 가능할까라는 주제로음이 세션을 준비해 왔고요.

 오늘 어 우선 링크든 열심히 쓰고 프롬프트 열심히 썼더니 이런 마이크로소프트의 엄청 큰 무대에 설 수 있는 기회가 생겨서 너무너무 영광입니다.

 저는 프롬프트 엔지니어 강수진이라고 한번 다시 한번 말씀을 드리면서요.

 너무 잘 아시겠지만 저는 요즘 말로 뼈속까지 문과생이라고 하고요.

 어 하와이 주립대학교에서 박사하기를 받았어요.

 그때가 최지T가 나오기 이전이고요.

 박사하기 받자마자 최제피가 나왔는데 그때 당시 제 전공이 대화 분석학이었습니다.

 국내에는 없는 전공이에요.

 그래서 어 사람과 사람 간의 어떤 대화 메커니즘을 연구를 하다가 최치피pt가 나와서 처음으로 써 보는데 어 이거 내가 진짜 잘할 수 있겠는데 내가 뭔가 자연어로 뭔가 기능을 만들 수 있겠다 시작해 가지고음 국내에서 리트엔이라는 곳에서 처음 공채를 공채로 프라 엔지니어를 뽑았고 그래서 저 저를 소개하는 그 수식어에는 늘 국내 1호라는 어떤 거창한 수식어가 붙는데 그냥 소소하게 프롬프트 좋아서 열심히 하고 있는 사람입니다.

 그래서 주요 경력은 어 BTC를 위한 서비스 리튼에서 어 여기 너무 조명이 박네요.

 요쪽으로 가야겠어요.

 그 B2C 서비스를 위한 니튼에서음 프롬 엔지니어로 일하다가 작년에 제가 미국과 한국의 법인을 차리고 더 프롬프트 컴퍼니라는 대표를 맡고 있고요.

 그 약 횟수로 3년 된 거 같아요.

 프럼프트 엔지니어로 일한지 3년 동안 주요 프로젝트로 손꼽을 수 있는게 세 가지인데 작년 말에 어 업스테이지 국내에서 lm 만드는 회사의 솔라 프로 프롬 엔지니어링 쿡북을 제작을 했었고 그다음에 2023년도에 LM을 이용하는 이용자들은 어떤 때 LM이 어떤 때 답변을 만족 받으면 만족할까라는 이밸루에이션을 했었습니다.

 그리고 미국에서 이제 그 에듀테크에서 대학생들을 위한 AI 튜러를 맡는게 맡았던게 손꼽을 만한 프로젝트고요.

 어 퍼블리케이션으로는 주로 이제 저는 정치 대화를 연구하는 사람이었어서 정치대화 쪽으로론 퍼블리케이션이 있는데 작년에 이제 프롬프트 엔지니어 업무일지라는 책으로 처음음 이쪽 분야의 책을 쓰게 된 것 같아요.

 그래서 아마도 어 저 박사가 혹은 저 대표가 혹은 저 사람이 오늘이 현장에서 어떤 이야기를 할까 많이들 궁금하실 텐데 우선 프롬프트 정의부터 하고 가겠습니다.

 아마 다들 프롬프트 많이들 쓰시죠? 예.

 그 소리 없지만 다들 쓰시는 걸로 알게요.

 그 프롬프테는 AI와의 어떤 도구라고 저는 정의하고 있고요.

 그렇다면 프롬 엔지니어링은 어 경험의 과학이라고 생각합니다.

 그래서 lm이 나오면서이 프럼프트는 누구나 쓰는 어떤 도구인데 어떻게 쓰느냐에 따라서 경험이이 프럼프트의 결과물에 반영이 돼서 어떤 한끝 차이를 보여주고 있다라고 어 포문을 열게요.

 그래서요.

 프롬프트는 정말 잘 쓰면 한 줄만으로도 마법을 보여 줍니다.

 지금 보시는 영상은 골든 니트 리버가 소라 모델을 썼어요.

 소라 모델로 골든 니트 리버가 어 할로데이 팀으로 키친해서 크킹하는 거 만들어 줘라고 했더니이 리트리뷰가 되게 자연스럽게 베이킹하고 있죠.

 근데요.

 요즘에는요.

 음.

 2025년도 CES에서 젠슨 황은이 모델을 발표합니다.

 이제 피지컬 AI의 시대가 왔다 하면서 코스모스라는 모델을 공개를 했죠.

 그리고 제가요 지금 보셨던 영상이 칠비 모델로 만든 한 줄로 만든 그 물방울이 떨어지는 그 중력의 순간을 포착한 프롬프트로 만들어 낸 건데 droping the flow라는 간단한 명령문만으로도 지금 현실 세계를 시뮬레이션하는 동작을 만들고 있습니다.

 신기하지 않으세요? 저는 신기합니다.

 웃어 주셔서 너무 감사해요.

 요쪽만 바라볼게요.

 어, 그래서요.

 이렇게 정해요.

 아, 프롬프트가이 생성형 AI 시대에는 미션 크리티컬 해줬다.

 왜냐면 AI 도구 정말 많이 나오고 있고 LLM 춘추 전국 시대로 불리고 있는데 프롬프트 누구나 다 쓰시고 계시잖아요.

 이런 프롬프트가 중요해진 이유는 저희의 삶을 트랜스포밍 하기 때문이라고 생각합니다.

 트랜스포밍이라는 개념은음 깃업 코파일럿의 깃터이 개발의 속도와 생산성을 향상시키고 있고 실리콘 밸리 사이드에서는 어 프런트 개발자가 레이오프가 되고 있고 그 정도로 너무 잘해서요.

 그리고음 에듀케이션에 있어서도 person널이 된 어떤 학습이 가능하게 되었고 창의성, 혁신 이런 수식어가 붙고 있는데 정말로 중요한 거는이 프롬 엔지니어링이 저희의 일상 생활에 숨어들어 가지고 어떠한 변화를 주고 있다라는 거예요.

 그래서 오늘 제가음 어떠한 도메인에서 프롬 엔지니어링을 접목할 수 있는지에 대한 유즈 케이스를 조금 보여 드리려고 하는데 생각보다 많은 곳들이 많은 산업군들에서 프롬 엔지니어링을 접목해서 어떤 생성향 AI 서비스를 하고 있고 업무의 자동화를 일구고 있고 생산성을 극대화하려고 하고 있습니다.

 그래서 잠깐만 보시면 뭐 테너로지나 소프트웨어 디el로먼 당연히 뭐 소프트웨어에서는 전목 빠르죠.

 에케이션, e-commerce 혹은 마케팅 혹은 파이낸스 등등등 이렇게 미션 크리티컬한 어떤 저희이 말을 프롬프트 모멘텀이라고 표현을 하고 있어요.

 그래서 오늘이 자리에서 제가 전달하고 싶은 건 딱 세 가지 포인트입니다.

 세 가지는요.

 첫 번째는음 프로프트 엔지니어링으로 생성형 AI 서비스를 했는데이 도메인에서 성공한 레프레젠터티브 케이스 하나.

 두 번째는 제 경험을 쉐어를 하려고 해요.

 제가 만년 됐다고 말씀드렸는데 프롬프트에서 프롬 엔지니어링으로 어 경험하면서 성장한 어떤 그런 레퍼런스들을 다 가져왔고요.

 마지막으로는 2025년 현재 어 프롬 엔지니어링은 어떤 거를 풀고 있고 앞으로 나가야 되는 방향성에 대해서 한번 말씀을 드리려고 합니다.

 앞에 세션들에서 너무나 훌륭한 스타업에 계신 분들이 나와서 우리 서비스 이렇게 만들었어요.

 아마 했을 텐데요.

 오늘 제 세션은 프롬 엔지니어링만을 다루려고 해요.

 그래서음 실전 뮤즈 케이스 그리고 극복한 것들 위주로 할 건데 제 말이 너무 빠르나요? 괜찮아요.

 제가 마지막 세션이 너무 다행스러운게 한시간 넘어도 된다고.

 그리고 저를 아시는 분들은 잘 아시는데 저 말하라고 하면 4시간 넘게도 말해요.

 그리고 Q&A 받을 겁니다.

 오늘 Q&A 세션 없다고 들었었는데 저 마지막 세션이라서 Q&A 인터랙션 하고 가고 싶다라고 말씀드려 놨어요.

 그래서 보시면서요 슬라이드 보시면서 궁금했던 점들 Q&A 어떻게 받을지 아마 스태프분들이 준비를 해 주실 텐데 궁금증 조금 풀어 드리고 가면 좋을 것 같아요.

 그래서 프롬 엔지니어링이 왜 이렇게 중요한가? 제가 커리어 시작하면서 매일 듣는 말이 있습니다.

 아마도 이곳에 계신 어떤 분들은 프롬프트 엔지니어 저거 직업이야.

라고 하시죠.

 LM 나올 때마다 프롬 엔지니어링 LM이 써 줄 텐데 저거 해야 돼.

 와 늘 싸우고 있어요.

 그래서 오늘이 자리에서는음 왜 중요한지 역설적이게도 LM이 발달할수록 저는 프롬트의 역할이 되게 중요하다라고 생각을 하고 있어요.

 그래서 그것들을 조금 어떻게 보면 말씀드리는 자리가 될 것 같습니다.

 그래서 기초부터 시작을 하시면요.

 왜 움직이니까 사진 찍기 힘드시죠? 네.

 송구합니다.

 가만히 있을게요.

 그 프라 엔지니어링은요.

 아까 말씀드린 것처럼 경험의 과학인데 어떤 LM을 쓰더라도 요즘에 진짜 춘추 전국 시대라고 이티타임즈 홍제 기자님께서 늘 말씀하시는데 어떤 모델을 쓰더라도 프롬프트가 첫 시작이에요.

 첫 단추죠.

이 이 LM이라는게 구글의 모델 다르고음 에저 다르고 그다음에 뭐 클로드 다르고 소형 모델일수록 성격이 다 다른데 프롬프트를 어떻게이 첫 단계에서 쓰냐에 따라서 결과값이 정말 천차만별 달라진다라는 말은 너무나 너무나 많이 들으셨을 거예요.

 그럼 어떻게 달라지는지를 제가 보여 드리는게 제 전문적인 일 아니겠어요? 그래서 이걸 한번 보여 드릴 거고요.

 사례를 통해.

 그래서 요즘은 패라다임 시프트가 되고 있죠.

 이미 많이 되고 있는 거 같아요.

 음.

 지금 제 뒤로 보시는 양옆으로 보시는 슬라이드의 그림은요.

 머신 러닝 딥러닝에서 모델을 학습시키는 방식.

 오른쪽은 라스랭스 머이 나오면서 프롬 엔지니어링이 어떻게 데이터를 처리하고 결과물을 뽑는 방식에 대한 도식을 보여 주고 있습니다.

 핵심은요.

 저는 모델 전공자가 아니라 뭐 이거 어떻게 만들었는지 설명 절대 못 해요.

 그렇지만 핵심은음 기존의 전통적인 방식은 모델을 어떻게 데이터를 학습시키고 훈련시키느냐의 초점이든 다소 시간이 많이 들고 다소 자원이 많이 들고 다소 성능이 떨어진다라고 하면 프롬 엔지니어링은 프리트레인드된 어떤 언어 모델을 가지고 별도의 기술 없이 코딩 지식 없이도 자연어로 저희가 쓰는 지금이 자연어로이 모델한테 말을 걸어서 기능을 개발하고 하고 서비스를 한다는 거에 있어서 엄청난 효용성을 보여 주고 있습니다.

 그래서 핵심은 어떻게이 모델의 어떠한 구조를 아느냐라기보다는 제가 프롬 엔지니어로서 갖고 있는 사견은요.

음 어떻게 넣어서 어떤 거를 만드느냐가 가장 중요해진 것 같습니다.

 그래서 프롬 엔지니어는 사실네 가지 일을 하고 있어요.

 국내에서도 프롬 엔지니어가 많이 채용이 되고 있고 많이들 이제 수요가 생기고 있고 LLM 서비스를 하시는 이곳에 오신 모든 분들도 프롬트를 쓰고 있어서이네 가지를 하실 텐데요.

 우선 프롬프트를 제작을 합니다.

 그래서 만든 프롬프트를 가지고 테스트를 무한 반복하죠.

 이거를 프롬프트 단에서 파인 튜닝 한다고도 하죠.

 프롬프트 튜닝.

 그래서 파라미터들이 많잖아요.

 LM에.

 그래서 뭐 컨피레이션을 조정을 하면서 프롬프트의 미세한 값들을 보면서 파라미터 조정하는 일을 하고 나면 테스트하고 이밸루에이션을 하면서 안정적인 프로덕션 레벨까지 프롬프트를 결과값을 조정하고 정량화 테스트를 통해서 몇백만 몇 천만 대상의 서비스를 만들어 내고 있고 그리고 나와서 아까 전에 앞에 시간에 스케터스에서 말씀을 너무 잘해 주셨지만음 윤리적인 AI를 위해서 어떤 필터링 혹은 이것도 어떠한 가이드라인을 만들고 가드레이를 만들고 하는 그런 작업들이 지금 원이 겹쳐져 있는 까닭은요.

 이게한 어떠한 독립적인게 아니라 모두 다 메카닉하게 연결이 되어 있습니다.

 프롬프트 쓰시면 왜 문장길이의 서로 유기적인 관계라고 하죠.

 이런 것처럼 이거를 체인이라고 지금부터 표현을 하겠습니다.

 여기까지가 서론이고요.

 어, 우선가 간단하게 많이들 아실 사례를 조금 볼 텐데요.

 프롬 엔지니어링으로 서비스를 도메인에서 서비스를 해서 성공한 사례를 잠깐 소개를 드릴 텐데 어떤 식으로 설명을 드릴 거냐면 인더스트리가 있고 그 인더스트리가 겪고 있는 문제를 프롬프트로 어떻게 극복했는지를 말씀을 드릴게요.

 그 첫 번째는 2023년도 역시 요거 보신 분 계세요? 구글에서 나온 팜트음 모델로 팜 모델이네요.

 나온 건데 성능을 떠나서 처음으로이 메디컬에 접목한 사례예요.

 프롬 엔지니어링이 여기서 뭘 했냐면 그런 개인적인 의료 진료에 관한 어떤 퍼션을 Q 체포을 만든 거죠.

 그래서 프론트로 그렇게 대화형 체포을 설계한 케이스로 네이처지에 퍼블리케이션이 된 거고요.

이 금융 분야에서 너무나 잘 알려져 있죠.

 모건 스탠리의 어시스턴트인데 얘가 뭘 하냐라고 한다고 하면음 리스크를 분석하고 어떤 사기가 되는 거를 디텍션하는 것도 프롬프트로 필터링을 해서 성공한 케이스로 알려져 있습니다.

 그래서 지금은 직원의 거의 98%가요 어시스턴트를 쓰고 있다라고 하고 있어요.

 음.

 음, 지금 보시는 영상은요.

 여기 혹시이 코카콜라는 2023년도에 이런 일을 합니다.

 사용자한테 사용자가 아니죠.

 코카콜라를 먹는 소비자한테 생성형 AI 가지고 마케팅 관련된 영상을 뽑아 줘.

 코카콜라와 관련된 영상을 뽑아 줘라고 했어요.

 그랬더니 이거 만들어서 엄청난 브랜딩 마케링 효과를 봤다라고 하죠.

 그래서 프롬프트 엔지니어링을 통해서 혹은 프롬프트를 통해서 미래 브랜드를 어떤 포지션 포지셔닝하는 마케링 사이드에서의 프롬트도 쓸 수 있고 칸 아카데미에서 만든 카미고라는 듀오링 많이 아시나요 혹시?네 아시죠? 근데 요즘은 요게 더 핫하다라고 합니다.

 personalized 학습 학습자의 개개인 맞춤형 학습 제포인데요.

 프롬프트가 뭐를 했냐? 학습자의 선호도를 미리 파악을 해 가지고 내 학습 스타일에 맞게 대화를 설계하는 역할을 한 거예요.

 그래서 또 성공적인 사례로 뽑습니다.

 여기까지 너무이 도메인별로 읊으면 시간이 다갈 거 같아서 제 하이라이브 파트는 사실 두 번째입니다.

 그래서 어 지금까지 나는 프롬프터 엔지니어로서 어떤 일을 했는가라는 것들을 공유드릴게요.

 그래서이 발표를 준비를 하면서 한 장에 내가 한 것들을 다 담아 봐야겠다 해서 만든게 지금 보시는 화면인데요.

 음.

 음, 국내는 국내와 제가 미국 커뮤니티 프롬트 엔지니어에 대한 커뮤니티의 어떤 정보들을 보면 국내는 아직까지 프롬포트에 대한 인식이 낮게 그냥 단순히 문장만 잘 쓰면 되는 일로 잡혀 있는 거 같아요.

 그런데 제가 경험한 프롬 엔지니어링은요.

 지금부터 말할 예정인데 음, LLM이라고 할게요.

 LM에 왜 언론사에서 어떤 모델들 발표할 때마다 요게 된다라고 하면 실제 써 보면 그렇지 않을 때도 있어요.

 어떤 실제 성능과 현실에서의 접목하는 거에 있어서 간극이 큰데 그 한 개를 극복하기 위해서 그 한 개를 대표적으로 제가네 개라고 보고 있고요.

 음.

 contexist 그다음에 effici고 보고 있습니다.

 그래서 요거 관련된 과제는 모델의 답변 정확도 할루시네이션 줄이고 그다음에 윈도우 컨텍스트가 늘어나는데 아까도 말씀하셨죠? 컨텍스트가 늘어나서 그걸 뭐 책을 한 건 다 넣는다고 LLM이 다 알아주진 않잖아요.

 어떻게 하면 로스트인더 미들 현상을 손실을 막을까? 그리고 너무 비싸잖아요.

 LLM이 쓸 때마다 다 비용이라서 프롬포트 최대한 짧게 써 보고 결과는 올려야겠다.

 뭐 모델의 레이턴시 모델 호출을 조금만 해 가지고 어떤 레이턴시 줄여 봐야지라는 그런 노력들을 합니다.

 그래서 프롬 엔지니어링으로 해결한 것들을 연두색 글씨로 하이라이딩 해 왔는데 오늘이 파트를 함께 보실 거예요.

 그래서 다시 한번 정리드리면음 제가 실제로 서비스한 것들 사례로 볼 거고요.

 실제로 서비스를 했던 그 시발점들은 모델이 한 개를 극복하거나 모델의 한개 혹은 뭐 모델의 성능 퍼포먼스를 끌어올리기 위해서 프롬 엔지니어링만으로 극복한 그런 것들인데 후반부로 갈수록 프롬 엔지니어링과 요즘 왜 유행하는 키워드 랭그래프랑 뭐 레그 그리고 멀티에이전측까지 나오거든요.

 그래서 어 프롬프트로 이거 들으시면서 이것까지 가능해.

 혹은 의심을 하실 수도 있잖아요.

 정말 저게 됐을까라고 생각하시는 분들은 약간의 다소 호기심을 해결할 수 있을 것 같습니다.

 어떻게 재밌을 것 같아요? 억지 반응 아니시죠? 이제 마지막 세션이라서 빨리 하고 가자라고 생각하시면 안 됩니다.

 잘 들어 주세요.

 첫 번째 파트는 클라리티인데요.

 모델이 갖고 있는 언어 모델은 클라리티가 떨어집니다.

 무슨 소리냐면 말은 너무 잘하는데 명확하지가 않아요.

 그 말을 너무이 왜 그런 말 들어보셨죠? LM은 발산을 잘하는데 수렴을 하지 못한다.

 그래서 말은 그럴 듯하게 만들어 내는데 수렴을 하지 못합니다.

 그래서 어떤 것들을 정말 코드처럼 코드는 0과 1로 딱 나눠지는데 자연은 그게 아니다 보니까 어 이걸 명확한데 이걸 어떻게 써야 돼라고 개발자분들이 많이 말씀을 하시거든요.

 그래서 제가음 서비스를 실제로 했던 것들이 클라리티를 극복하기 위해서 어떻게 프롬포트를 써서 유저 인텐트 오늘 하루 종일 또 많이 들으셨을 텐데 니즈라는 단어 거의 매일 듣고 계시지 않으세요? 현업에서 니즈가 뭐냐? 그래서 인텐션이 뭐냐? 사용자의 의도가 뭐냐? 프롬프트를 쓰는 의도가 뭐냐? LM한테 물어봐도 답을 잘 못 합니다.

 그래서이 사용자의 의도와 생성형 AI를 쓰는 세그멘테이션 아마 요런 내용 처음 들어보셨을 제 책을 보신거나 방송에서는 많이 얘기를 했는데 사실이 부분 정말 많이 얘기했는데 여기 앞자리에 계신 홍제 기자님이 다 통편집하셨어요.

이 언어 언어학적인 내용은 재미없다.

 그래서 통편집돼서 다시 제가 가져왔습니다.

 여기 보시면 어 정말 재밌는 내용이에요.

 사용자의 의도를 알아야 생성형의 서비스에 성공을 할 가능성이 높은데 그러면 사용자의 의도를 어떻게 알아차리겠어요? 여러 가지 방법이 있겠죠.

 전통적인 데이터 분석 방 사이드에서는 뭐 사용자의 로그를 조사한다거나 혹은 사용자가 머은 시간 뭐 이런 것들 가지고 조사를 하겠죠.

 그런데 프롬프트는 과학입니다.

 그 이유가 프롬프트 문장의 사용자가 하려고 하는 걸 정확하게 담아내기 때문이에요.

 그래서 그림에 보시면 지금 원이 있고 거기 안에 인텐트라는 의도라는 원이 있고요.

 사용자는 그 의도를 프롬프트를 통해서 전달을 한다.

 그래서 그다음 장에서 제가이 프롬프트 사용자의 언어를 분석한 방법을 잠깐 말씀해 드리겠습니다.

 전 대화 분석을 전공했기 때문에 그리고이 지금 프롬트 엔지니어라는 타이틀을 달고 마이크로소프트에서 뭔가 이거를 말하고 있다라는 거 자체가 저는 정말 굉장한 경험이라고 생각해요.

 음.

 입문 입문학과 어떤 반대 사이드의 장벽을 허물고 있는 그 과정에서 제가 프롬프트를 쓸 때는 제 전공 지식을 많이 녹여서 해결 볼 때가 많거든요.

 그중에 하나가 사용자 의도 분석인데요.

 널리시스는 스피커가 무엇을 하는지에 대한 행위를 분석하는 거고 저희가 프롬프트를 쓰면 AI는 답변을 하죠.

 그리고 사용자는 또 한번 물어보고 AI는 또 답변을 해요.

 이런 거를 메커니즘이라고 하는데 지금 제가 여러분들이 쓰시는 그 언어는요.

 사실 벗겨 보면 세 가지 레이어예요.

 텍스트 형태가 있고 맥락이 있어요.

 맥락은 제가 지금 마이크로소프트에서 행서를 하고 있는 어떤이 맥락 여러분들과 저만 아는 그런 맥락 lm은 모르는 그리고 여기는 한국이에요.

 그래서 한국 청증을 대상으로 저는 한국어로 스피치를 하고 있습니다.

 이렇게 세 가지 복합적인 레이어로 되어 있는데 이거를 분석할 때 유저가 프롬프트를 썼어요.

 그래서 요거를 한 번에 끝나냐 싱글 턴이어서 얘기를 계속하냐 멀지턴으로 분석을 합니다.

 그다음 단계에서요.

 그 프롬프트에 어떤 액션을 하느냐가 정말 중요하거든요.

 액션이라고 함면 행위죠.

 그래서 정보 검색해 줘라고 하면 정보 검색이 될 거고 내 코드 고쳐 줘.

 음.

 제가 BTC 서비스를 하는 곳에 있을 때 바라 프롬프트를 많이 분석했는데 로열 유저가 개발자분들이 많기 때문에 코드를 그렇게 많이 물어보시거든요.

데 그분들의 의도는 코드 수정이겠죠.

 그리고 어 이렇게 액션이 끝났어요.

 그래서 싱글턴도 끝나고 그다음에 액션도 끝나고 그다음에 스트럭처를 볼 수 있는데 AI의 답변을 받은 사용자는 분명한 표시를 합니다.

 표현을 다음 턴에서 뭐 좋다든지 아니면 관련한 어떤 검색을 또 한다든지 그래서 스트럭처를 만족했으면 선호하고 만족하지 않았으면 비선호하는 구조를 갖고 있고 마지막으로 컬처 단에서 볼 수 있는게 스탠스입니다.

 그래서 영화 외 허 보면 허가 가장 많이 언급이 되죠.

 거기 주인공 이름이 뭐죠? 크게 말씀 주시겠어요? 삼다.

 그 남자 주인공 이름이 뭐예요? 태오돌인가? 알고 물어봤습니다.

 숨쳐서요.

 한번 끊어.

 태오도인데 이런 걸 스탠스라 그래요.

 스탠스 테이킹.

 여러분이 AI를 쓸 때 갖고 있는 어떤 입장.

 그래서 스탠스가 있는 쪽이 뭐 제타나 이런 서비스, 페르소나 AI 서비스가 되겠죠.

 그래서 요거를 가지고 분석을 하면음 요런 식의 표가 나오는데요.

 이거를 생성형 AI 이용자의 세그멘테이션이라고 합니다.

 프롬프트만으로 생성형 AI 이용자가 어떻게 프롬프트를 쓰고 무슨 행동을 하고 뭐를 원하는지를 완벽하게 분석할 수가 있어요.

 케붕 아세요? 케 아시면 요즘 애들이라고 할게요.

 케응은 캐릭터 붕괴예요.

 페르소나.

 예.

 요즘 애들로 인정하겠습니다.

 캐릭터 세계관을 유지하면서 계속 유지해야 되는데 리셋이 되는 현상이에요.

 그래서 제가 요거를 어떻게 해결했냐라고 했을 때 일단 사용자가 프롬프트로 뭔가를 물어보면 그 사용자는 페르소나 예를 들어서 뭐 변호사라고 할게요.

 변호사라는 어떠한 캐릭터를 한정했어도 변호와 관련된 로우와 관련된 것만 묻진 않아요.

 현실 세계 유저들은 잘 아시겠지만 그래서 페르소나 세계관, 일상대화, 정보 검색 다양한 행위를 할 텐데 요런 것들을 아까 인텐트를 통해서 제가 이제 분리를 했습니다.

 그렇게 했을 때음 지금 여기에서는 혼밥에 대해서 물어보고 있는 멀티턴의 대화를 보시는 거고요.

 그런데이 대화하 대화와 함께 자세히 보시면 위에 번호가 달려 있죠.

 2번 난 인포메이션시킹.

 그리고 맨 마지막 대화에는 1번 인포메이션 시킹.

 이런 식으로 의도 분석한 결과를 카테고리화시켜서 번호를 찍게 만들었어요.

 그 이유는 두 가지입니다.

 두 번째는 요렇게 처리를 하면 의도 분석이 더 정확하게 돼서 이사이 사용자한테 맞춤명으로 원하는 맥락이 살아 있는 대화를 제공해 줄 수가 있고 두 번째 데이터 처리하기도 너무 편하고 그다음 마케팅 쪽에서 어떤 광고를 붙이기도 이렇게 했더니 편한 거예요.

 그래서음 AI 체포을 요런 식으로 만들었는데 그때 제가 썼던 프롬프트의 완전 상위에 있는 프롬프트예요.

음이 프롬프트 보시면 프롬프트인데 생각보다 다소 다르게 섰을 거예요.

 약간 수도 코드 수도 코드의 형태로 지금 프롬프트를 써서 첫 번째는 유저 사용자의 의도를 추출하는 거.

 두 번째는 여러분 아시죠? 체포이 말은 시작은 잘하는데 끝을 못 맺어요.

 얘는 계속 대화를 해요.

 그런데 사람은 대화를 하다 보면 시작 중간 끝이 있잖아요.

 그래서 약간 깰빠처럼 깰 때 깨고 빠지게 빠져서 대화를 마무리하는 것도 먼저 하는 액티브한 체포을 만들어 봤었어요.

 그때 할 수 있었더니 명확 LRM을 그렇을 해야요 프럼프트가 잘 작동을 하는데 그렇게 했었던 어떠한 비법이라고 한다고 하면이 프럼프트를 줄을 형태로 넣지 않고 의도를 더 잘 처리하기 위해서 어 프롬프트는 자연어와 컴퓨터 언어의 중간 형태라고 지금 저는 생각을 해요.

 그래서 요런 처리할 때는 컴퓨터 언어스럽게 쳐 주면 잘 되더라고요.

 그런 식으로 처리한 사례입니다.

 그래서 여기까지 클라리티를 살펴봤습니다.

 클라리티를 높이기 위해서 의도 분석이 가장 저는 크리티컬했다라고 생각을 하고 있고요.

 두 번째는 컨텍스트.

 문맥이라고 하면 요건 맥락이겠죠.

 그래서 아까 전에 말씀드린 어떤 모델이 사람처럼 긴 문서를 읽었을 때 앞고 뒤만 기억하고 중간 거는 다 날려 먹는 현상을 러스트인더 미들이라고 할 거고.

 그리고 뭐 문서 요약이나 보고서 보고서를 쓸 때도음 참조하는 문서의 길이가 길수록 그 세밀함이 너무 많이 떨어져요.

 그래서 제가 두 가지 서비스를 했던 사례를 들고 왔습니다.

 하나는 저 국내에서 가장 많이 하고 있는 일이 기업들의 보고서 자동화 프이 길게 말하게 하기 위해서 했던 방식에 대해서 설명을 드릴게요.

 두 가지예요.

 컨텍스트.

 그래서 아마도 여러분들요 공공 기관에서 혹은 산내 문서들 중에서는 특징이 있습니다.

 요거 약간 개인 정보가 있어서 제가 블러 처리를 좀 해서 왔는데 서울시에 들어가서 오픈된 문서를 받아 왔고요.

 목표는 저거를 정확하게 프롬프트로 출력하는 거예요.

 그런데 이런 공공기관 문서 혹시 개발자 계시면 제가이 한 단어만 말해도 아마 질색 8색을 하실 거예요.

 표 안의 표.

 웃으시죠? 지금 표안의 표, 표안의 표안의 표 이런 것들.

 근데 공공기관 문서가 만만치 않습니다.

 왜냐면 지금 보시면은 저런 어떤 마크 기호들이 정확하게 있고 그 문장이 되게 세밀하게 들어가지 않으면 보고서라고 볼 수가 없어요.

 그런데 제가 요거를 얼마 전에 어 마이크로소프트 365 코파일럿으로 해결을 받는데요.

 코파일럿의 가능성을이 테스크를 통해서 어 발견했습니다.

 코펠로또 쓰면 정말 아 프롬프트가 이래서 되게 중요하다라고 느끼게 해 준 케이스예요.

 그래서 포인트는 제가 상단에 제목으로 저 놓고 놨는데 왜 위계질서를 준다 그러잖아요.

 상단에 타이틀이 있고 섭타이틀이 있고 그 섭타이틀을 이루는 어떤 하위 정보들 이런 걸 하어 인포메이 스트럭처라고 할 텐데 보시면 제가 그 프롬프트를 썼더니 그냥 휴먼 레벨에서 만족할 만한 세밀한 결과가 나왔어요.

 이거 어떻게 했는지 말씀드릴까요? 안 궁금하시면 패스할게요.

 궁금하실 거예요.

 어, 일부인데요.

 코파일럿으로 꼭 한번 해 보십시오.

 어, 다큐먼트는요.

 정말로 프롬프트의 구조를 잘 잡아야 된다.

 그래서 요즘 많이 들어보실 프롬프트 구조화가 중요한데 어, 구조라고 하면은 뭐 지심은 어, 예시, 출력 결과물이라고 생각할 텐데 그런 구조가 아닙니다.

 LM마다 좋아하는 구조가 다 따로 있어요.

 그래서 어떤 LLM은 클로드는 XML 태그를 좋아한다 그러죠.

 그리고 소형 언어 모델은 명령문이 마지막에 들어가는 거를 되게 좋아해요.

 그리고 선호하는 기호들도 다릅니다.

 그래서 요런 레시피를 모은 거를 쿡북이라고 하는데 언어 모델마다 쿡북이 있어서 쿡북을 보시면 더 좋은 결과물을 얻으실 수가 있어요.

 다시 돌아와서 제가 경험한 코파일럿은 굉장히 러블리합니다.

 지금 프롬프트의 첫 줄에 이모지 보이세요? 요거 하나로 결과물이 달라질 때가 많더라고요.

 그래서 막 찾아보니까 리서처가 마이크로소프트의 프롬트 전문으로 쓰시는 분이 글을 개제를 했는데 어 상냥한 언어 뭐 이런 건 너무 많이 들어서 상냥하면은 진짜 결과 달라져라는 의심을 가지고 저도 써 보니까 저 이모지 하나로 정말 많이 달라지거든요.

 오늘 요거 들 들으시면서 가서 해 보세요.

 그래서 코파일럿이라고 이름 불러 주는 걸 너무 좋아하고요.

 포 파일럿 요러면서 우리 지금부터 뭐를 할 거야라고 유도를 합니다.

 그다음부터 나오는 저 기호들 지금 보세요.

 타픽 동향 그다음에 뭐 하이픈 이러면서 제가 프랜티스과 괄호 안에 자세하게 말을 하기 시작합니다.

 요게 바로 위계 질서를 잡는 스케폴딩 구조라고 저는 말을 해요.

 프롬프트를 쓸 때 요것들을 잘 잡아야 그러니까 왜 그런 거 있잖아요.

 아까 전에 LM은 발산을 잘하고 수렴을 잘 못 하는데이 마법에 LM이 좋아하는 기호가 있습니다.

이 땡땡을 정말 좋아하고요.

 그다음에 이렇게 기호 안에 가두는 걸 좋아해요.

 그래서 기호 안에 가두게 했을 때 조금 더 세밀하게 나오거든요.

 그래서 위계 질서를 요렇게 잡아보면서이 상냥한 언어를 쓰면서음 저 아까 전에 그 템플릿을 정말 잘 쓰게 됐고 두 번째이 컨텍스트 아이 아까 전에이 예시도 컨텍스트와 당연히 관련이 있습니다.

 참조 문서가 있는데 참조 문서 기업에서 쓰는 문서들 보통 5, 60장이 넘어가요.

 보고서가.

 그것들을 다 읽고서 쓰게 하는 거를 잘하려면 위 스트럭처를 잘 잡으셔야 된다라고 말씀드리고 두 번째 맥락 LLM의 맥락 문제를 해결하고 성공적으로 지금 서비스 중인 것 중에 하나가 바로이 보이스 person 체포인데요.

 AI랭즈 튜러 체포을 만든 적이 있어요.

 근데 타겟은 한국 사람이 아니라음 제가 하와이대학교에서 orean안 as포앤고지 그니까 한국어인데 외국인을 대상으로 하는 거를 가르쳤었던 적이 있었거든요.

 그래서 학생 이름은 데이빗이고 한국어 레벨은 인터미디어 어 중급입니다.

 그리고이 학생이 배워야 되는 단어는 전략이에요.

 전략.

 전략.

 여러분들 전략 발음 잘하시죠? 근데 저거 외국에 보면 난리가 납니다.

 전략.

 뭐 이런 뭐 진짜 정말 다양한 발음이 나오는데이 단어를 배우게 하기 위해서 저 제가 쓴이 맥락이 여기서 왜 나오냐면요.

 잘 못 하니까 계속 대화해요.

 보이스 채포이거든요.

 그럼 대화할수록 앞에 토큰이 날아가면서 LLM이 맥락을 잃고 갑자기 난이도 조절이 안 되거든요.

 이런 학습 체포에서 제일 중요한 건 레벨 컨트롤인데 LM이 얘는 중급이라고 말을 해 줬음에도 맥락이 길어지면서 어드밴스드로 갔다가 너무 로우하게 갔다가 이런 컨트롤 문제가 생겨요.

 그래서 요거를 어떻게 해결을 했냐? 그리고 또 중요한 건 못한다고 학색과 관련돼서음 못한다고 너무나 오비어스하게 당신은 못 하니까 그만 말해라 하면 안 되잖아요.

이 학생의 개인 선호도에 맞춘 그런 어떤 프롬을 하해서 대화를 설계를 해야 되는데 보이스다 보니까 또 길게 말하면 안 됩니다.

 짧게.

 근데 아시겠지만 LLM이 길게 말하는 건 잘하는데 짧게 말하는 거 생각보다 너무 못해요.

 얘가 트랜스포머 모델이라 어텐션 때문에 그다음 단어를 예측해서 길게 말하려고 하잖아요.

 그런데 저는 어떤 때는 짧게 말하고 어떤 때는 길게 말하는 것도 프롬트로 조정을 좀 했어요.

 그래서 그때 쓴 방식이 체너브 탓이라는 정말 유명한이 생각의 사실 기법인데요.

 그때 중요한 건이 생각의 사실 기법은음 어 갑자기 시간을 보니까 나 나는 할 말이 많은데라는 생각이 들어서 잠깐 멈췄습니다.

 생각의 사슬 기법 여러분들 수학 코드 뭐 출험 문제 많이 쓰시죠? 근데 저는 요런 체법 만들 때 많이 씁니다.

 모델을 조금 더 사고하게 하는 방법, 느리게 사고한다라고 표현을 하는데 실제로 얼마 전에 나온 연구에서 스로우 think킹이라는 단어가 모델의 LM의 성능을 향상시켰다.

 그러면 개발자들은 다 이런 질문을 하세요.

 뭐라고? 어텐션에 돌아가는 애가 슬로우하게 말한다고 슬로우하게 생각하나요? 라고 하실 텐데이 슬로우하게 한다라는 거는이 연상 과정을 조금 더 늘려 준다라는 거겠죠.

 어 그래서 스텝 원투 3 4 5까지 가면서 첫 번째 단계에서는이 플래닝이 학생을 좀 알아가는 단계예요.

 학생을 알아야지 설계를 하고 두 번째에서는 배워야 될 단어를 소개를 합니다.

 세 번째에서는 adapti티브 teaching reflection션이라는게 있는데 학생의 학습 스타일에 맞게끔 티칭 스타일을 맞춰서 lm이 너무 잘하는 것 중에 하나 하나고네 번째는음 대화 연습 말하는 연습하게 하고 마지막에는 학습한 걸 회고하게 합니다.

 그래서 프롬프트가 공개되어 있는데 전 생각보다 프롬프트의 기호를 정말 많이 써요.

 저기 별표 기호 보시죠? 별표 기호를 쓸 때 어떤 현상이 일어나면 나나냐면요.

 아, 그리고 제가 오늘 말하는 기능 개발 서비스 사례는 다 API를 염두해 두고 말을 하고 있어요.

 채피pt한테 별표 넣으면 정말 아무 의미가 없습니다.

 그래서 API를 쓰실 때 저런 별표를 쓰면서 모델이 요런 거를 딜리미터라고 말씀드리고 문장과 문장 사이를 구분하게 하면 자연어의 모호함이 구분이 된다.

 그래서 구분자라고 하는 기호들을 다양하게 쓰면서 지금 보시면 0번부터 6번까지 뭐를 스텝바이 스텝해야 되는지 점선을 통해서 말을 해 주고 있죠.

 요렇게 하면 좀 더 맥락이 잘 유지가 되는 그런 경험을 했습니다.

 여기까지가 컨텍스트였을 어떤 서비스를 통해서 프롬 엔지니어링으로 해결을 했는지이 체법 만들 때 저 코드 한 줄 안 썼거든요.

 그냥 프롬프트만으로 지금 잘 서비스가 되고 있고요.

 어 세 번째 제가 말씀드리고 싶은 거는 컨시스턴입니다.

 모델이 일관성이 너무 떨어져요.

 그리고 지금 아시겠지만 뭐 클라리티나 컨텍스트 요런 것들 다 연계된 문제들이죠.

 하나만 단독으로 떨어뜨릴 수가 없고 다 연결된 문제라서이 컨시스턴를 위해서 제가음 요즘에 lm 메모리가 대세죠.

 어떻게 하면 메모리를 뭐 물리적으로 혹은 프롬프트 단에서 증폭시킬 건가라는 연구가 많이 이루어질 거고 프롬프트 리유즈라는 컨셉이 있습니다.

 LM 비용이 너무 비싼데 프롬프트 캐싱 한번 해 봐야 되는 거 아니야? 하면서 작년말에 클로드에서 캐싱이라는 컨셉이 나오면서 리사이클을 하자라는 컨셉이 나왔었죠.

 그거를 위해서 제가 했던 턴 청킹, 턴을 자르는 것들.

 이거를 하려면 선재 조건이 턴을 잘라야 되는데 다소 개발자들의 방법과 다른 방법을 소개드릴 거고요.

 두 번째 같은 경우는 멀티에죠.

 요즘에 많이 또 에이전트의 시대가 왔다라고 하면서 키워드가 작년까지만 하더라도 AI 어시스턴트에서 멀티 에이전트로 바뀌었는데 요것들을 서비스로 풀어낸 프롬프트 플래닝이라는 컨셉에 대해서 혹시 들어보셨는지는 모르겠지만 프롬프트 플래닝을 통해서 해결해 본 사례를 말씀드리겠으세요? 네.

 대답해 주신 분들은 제가 발표 끝나고 내려가서 다 인사드려야 될 거 같아요.

 감사합니다.

 우선 요건 다소 개발적인 이제부터 좀 약간 엔지니어링 같은 얘기를 계속 할 건데요.

음 턴킹을요.

 일반 엔지니어분들은음 백토큰 단위로 쪼개자.

 특히 래그 하시는 분들 문서 받아서 어 파싱하고 그거 몇 몇 단위로 쪼갤 것인가 했을 때 토큰 단위로 주로 쪼개시죠.

 근데 저는 싱글 턴하고 멀티턴의 컨셉으로 쪼개입니다.

 그래서 지금 그림 보시면 대화하기 때문에요.

 대화라고 말씀드리잖아요.

 LM은 대화 형 LM인데음 대화의 플로우가 지금 싱글 턴이 있고 멀티턴이 있고 대화형 책 보시면 더 멀티턴일 거예요.

 그러면 아까 전에 맥락을 보충하고 컨시스턴를 올리려면이 얘는 텐션을 계속 유지해야 되는데이 대화 맥락을 어떻게 유지실까 했던 한 방법이 어 맥락을 넣어 주기 위해서 혹은 프롬프트를 다시 사료 사용을 하기 위해서 턴바이 턴으로 잘라야겠다.

 싱글 턴과 멀티턴 기준으로 해야겠다 하여 썼던 그 프롬프트입니다.

 그래서 요걸로 처리를 하면 놀랍게도 데이터 엔지니어분이 제 거이 프롬프트를 쓰시고 이게 정확도가 98%가 나오거든요.

 음.

 요거에 관한 거는 오늘 하루 종일 말할 수 있을 것 같은데 정말 괜찮아요.

 턴킹 방법.

 그 이유는 멀티턴도 어떻게 멀티턴을 정의하느냐에 따라 다른데 타픽 중심으로 하기 때문에 뭐 어 체포식 LLM이 기억해야 되는 정보를 그 컨텍스트 안에서 손실하지 않고 처 처리해서 어 명확하게 할 수 있는 어떤 장점이 있습니다.

 쉽게 말해서 토큰 단로 그냥 잘라 버리면 LM이 기억해야 되는 정보가 잘려진 토큰에 있으면 그건 불상사잖아요.

 그럼 lm 성능이 다 떨어질 수밖에 없는데 이렇게 타픽 중심의 턴 개념으로 자른다라고 했을 때 맥락이 조금 더 유지가 되고 일관성이 생길 수밖에 없습니다.

 그래서 요것도 저는 수도 프롬프팅을 좀 자주 하는 편이라 스톱프 스도 프롬프팅을 통해서음 처리한 걸 볼 수가 있고요.

 그래서 제가 이거를 직접 이제 코드를 써서 어떻게 처리가 됐는지 정말 많은 정량화 처리를 할 때 프롬프트를 테스트를 좀 할 때요.

 결과를 어떤 질문을 넣고 답변을 넣고 요거를 턴바이 턴으로 자를 때 방금처럼 쭉 보셨던 걸로 하고 있는데 이랬을 때 어떤 거를 다시 살리지 않아도 되는지 어떤 거는 가벼값인지도 정확하게 처리를 할 수 있었습니다.

 그래서 이렇게 잘려진 턴으로 뭐를 하냐라고 한다면 당연히 메모리 매니지먼트를 위해서 쓰고 있죠.

 그리고 프롬 EVU에이션도 해요.

 LLM이 어떤 질문을 했는데 답변을 잘했는지 그 턴바이 턴으로 프롬트 이밸루에이션을 하고 있습니다.

 다음으로 넘어가서 어 컨시스턴시 문제를 해결하기 위해서 프롬프트 플래닝이라는 걸 할 건데요.

 멀티에전트 다들 만들고 계신가요? 어, 근데 이제는 안 들리는 내가 들리네요.

 귀에 듣고 싶은 것만 들어서 그런가 봐요.

 멀티에인데 멀티에 중요한 핵심 키워드가이 장표에 다 들어가 있습니다.

 LMEST션 lm을 하나만 쓸 거냐, 여러 가지를 쓸 거냐? 어떻게 orchest스트레이션 아, 연주하듯이 좋아 조화롭게 만들 것이냐? 중요한 키워드는 또 프롬프트, 그리고 에이전트, 메모리, 툴이죠.

 우리 얼마 전에 MCP가 나오면서이 툴 관련해서 오픈소스로 풀린 프로토콜이 또 굉장히 또 개발자 사이드에서음 화제가 되고 있습니다.

 우선 말씀드리고자 하는 거는 멀티에도 잘 만들려면 프롬 엔지니어링이 굉장히 중요합니다.

이 그림에서 보실 수 있듯이 멀티에트라는 건 에이전트가 여러 개를 붙였다라는 거잖아요.

 에이전트 하나, 어떤 상위의 하나가 하위를 구성하는 하나가 되는 건데 그 하위에 있는 에이전트는 다 프롬부트에 의해서 매니가 되고 있고 매니지먼이 되고 있고 그래서 필요한 툴를 불러다가 붙여서 내가 만약에 어 데이터 분석을 하고 싶다.

 그래서 시각화학까지 하고 싶다라고 했을 때 그 모든 걸 오토머스 LLM을 만든다라는 컨셉이 되겠습니다.

 그런데 오토노머스라는 그런 컨셉이요.

 자동화가 여러분은 어떻게 생각하시는지 모르겠지만 저는이 부분에 있어서 자동화는 100% 되지 않을 거라고 생각하고 있어요.

 그래서 자동화를 하게 하려면 왜 어떤 문제를 푸 푸는 방식이 귀압적인 방식이 있고 연역적인 방식이 있을 건데음 에이전트만큼은요 탑투 발음하고 발음투 업에서 밑바닥부터 잘 깔아야 위에서 봤을 때 겁만하는 기능이 아니라 진짜 세밀하게 조점하게 채워진 그런 기능이 만들어진다라는 걸 경험을이 사례를 통해서 했는데요.

 제가 만든 어 에이전트의 플래닝을 가져와 봤어요.

 여기서 플래닝이란 이런 것들 각각의 작은 에이전트를 어떤 기능을 하게 할 건지를 프롬프트로 플래닝했다라는 얘기입니다.

 그래서 총네 개네 개의 에이전트를 가져왔고요.

 예.

 첫 번째 에이전트는 서팅이에요.

 그래서 어떤 에이전트를 쓰게 할 것인지가 관리 감독하는 그 의사 결정하는 애를 만들었고요.

 두 번째는이 뭐 하는 에이전트냐면 데이터 분석하는 에이전트입니다.

 어 CPA 그 세무사 사무실에 개발해서 개발해서 납품을 했던 그런 프롬프트 사례인데 두 번째는 데이터 전 처리를 해야 됩니다.

 그래서 데이터 전 처리를 했을 때도 다양하게 하위에 종속된 일을 꾸릴 수가 있어요.

 데이터 클리닝을 할 건지 아니면 데이터를 합칠 건지 아니면 데이터를 뭐 다시 조작 조작이 아니라 트랜스폼할 건지를 결정할 수가 있죠.

 그다음 단계의 에이전트는 비주얼라이제이션입니다.

 2단계에서 아이 3번하고 4번 순서가 바뀌었네요.

 일단 에이전트 3이 데이터를 분석해야죠.

 전전 처리를 했으니까.

 분석하는 방식에도 뭐 스태스티컬하게 통계학적으로 분석을 하게 할 것인지 아니면 상관계를 볼 것인지 그런 어떤 여러 가지 애널리시스 방법이 있고네 번째 에이전트는 데이터 비주얼이션 그렇게 해서 1번 2번 3번 단계에서의 파인딩지를 데이터로 보여 주는 것까지를요 프롬프트로 만들었는데 이렇게 되면 프롬프트가 정말 길어요.

 지금 개수만 사더라도 아홉 개, 열 개잖아요.

 근데 프롬프트가 진짜 개고요.

 지금 보시는게 다 프롬프트를 제가 생략해 온 건데음 프롬프트가 그래서 재밌는 거 같아요.

 제가 요거를 어떻게 구성하느냐 그리고 어떻게 엔지니어링을 해 가지고 비용을 절감하느냐 이런 것들이 정말 묘미가 있는 자연어를 만지는 그런 과정이 재밌고요.

 블랭크 페이지를 채워가는 느낌이잖아요.

 지금 보시는 프롬프트가.

 그래서 각각의 프롬프트 각각의 에이전트를 시스템 프롬프트로 명령하고 너는 뭐를 해야 되는지를 테스크에 대한 데스크립션을 했습니다.

 다음 이번엔 툴 콜링을 해야 돼요.

 펑션 콜링.

 여기까지 하면 너무 이것도 경험해 보신 분들은 잘 아시겠지만 펑션 콜링을 잘하려면 MCP를 쓰면 그냥 뭐 필요한 툴를 가져다 주잖아요.

 근데 펑션 콜링은 직접 정의해야 됩니다.

 피니션 하고 디스크립션 해서 LLM한테 내가 뭐를 하려고 하는지에 대해 테스크를 이해시키고 툴들 사이에 어떠한케스트레이션이 필요한 작업이기 때문에 요것도요 지금 디스크립션에 들어가는 그 모든게 다 프롬프트라고 할 수가 있죠.

 그런데 신기한 건 이게 작업이 어려운 건음이 프롬프때 잘못 쓰면은 기능을 하지 못해요.

 그래서 제가 제가 목격한 개발자는요.

이 펑션 콜링 당시에 저는 펑션 콜링을 참 자주 쓰는 사람인데 이거 안 되겠다 싶어 가지고 이거 똑같은 기능을 그냥 코드로 개발하고 계시더라고요.

 그래서 같은 기능을 구현하는 방식이 달랐던 얘기를 조금 해 드리고 결과적으로이 펑션 콜링을 통해서 아까 전에 분석하는 툴를 불러와 가지고 자동화를 할 수 있고 그렇게 해서 나온 결과물이 지금 보시는 화면인데요.

 어 데이터 처리를 해서 어떠한 파인딩을 만들어 주고 데이터 시각화까지 자동으로 해 주는 에이전트예요.

 그래서이 지금 보시는 화면은 막데라인데 오픈 AI에 가면 멀티에전트 이렇게 쓰세요 하는 레프로젠티브 한 어 예시입니다.

 그래서 요런 것까지 가능하다.

네 큐러시가 엄청 높다라고 합니다.

 그래서 여기까지 제가 말씀드렸고 마지막 에피션시가 남았어요.

 에피션시는요 두 가지 관점이에요.

 첫 번째는 일단 코스트를 줄여 보자.

 너무 비듯이 특히 많은 유저들이 써야 되는데 비용을 어떻게 절감할 것이냐 그럼 저는 프롬프트 단에서 너무 단순해요.

 프롬프트를 짧게 쓰는데 결과가 너무 좋으면 되는 거니까.

 그리고 llm 세 번 호출할 거 한 번만 호출하는 어떤 제로샷 형태의 프롬프트를 쓰면 되니까 어 코스트를 줄이는 방식.

 그리고 피션시는 또 LLM의 퍼포먼스를 엄청 극대화하는 관점에서도 볼 수가 있죠.

 랭그래프를 사용을 해 가지고 어 극대화시켰던 예시를 보여 드릴 건데요.

 너무 아 잘 또 아시겠지만이 어깨가 2주만 지나면 구정부가 됩니다.

 그래서 제가 랭그래프를 2주 전에 어떤 곳에서 세미나를 했을 때 다들 눈동 반짝이셨거든요.

 그런데 2주가 지난 지금은 랭그래프 좀 옛껏 나냐? 웃으시는 분들 생각하 그렇죠.

 이제는 그 MCP를 말했어야 됐는데 이거 준비만 할 때만 하더라도 MCP가 국내 그렇게 바이럴이 되진 않았었거든요.

 말씀드릴게요.

 어 예시예요.

 요거 제가 되게 좋아하는 예시인데 어떤 한 언론사에서 기사를 보고 장소만 추출을 하게 프롬프트를 만들어 달라고 하셨어요.

 어 예시인데 요거는 그냥 음바페 예시예요.

 그러면 여러분들 엔테리 엑스트랙션 정말 많이 하시잖아요.

 그랬을 때이 기사에서 정답으로 나와야 되는게 프랑스 리용 마르세유인데 이거를 뽑기 위해서 어떻게 프롬프팅을 하시겠어요? 아마 대부분 주어진 텍스트를 읽고 이것도 없는 분도 계시죠? 어 장소에 해당하는 거 뽑아 줘.

라고 한다고 하면 운 좋으면 뽑히고 운 좋지 않으면 뽑히지 않습니다.

 그렇죠? 그리고 저는 성능 좋은 모델을 그렇게 선호하지 않아요.

 성능이 좋다는 건 비싸기 때문이에요.

 그래서 정말 저사양 모델로 뽑는데요.

 왼쪽과 오른쪽 두 가지 프롬프트를 보시면 왼쪽도 그렇게 긴 프롬프트는 아니에요.

 그 왼쪽 프롬프트는음 몇 토큰으로 되어 있나요? 136 토큰.

 프롬포트 2는 40 토큰인데 어 많게는 두 문장 혹은 이렇게 하니까 제가 무슨 약파리 같은데 프롬프트 한 줄로 코스트를 정말 많이 절감한 경험을 하고 있고 지금도 하기 때문에 말씀드립니다.

 그래서 방대한 토큰의 양을 줄여서 왜 lm 비용 토큰은 아웃풋까지 포함해야 되잖아요.

 인풋 플러스 아웃풋.

 그래서 인풋에 들어가는 거를 줄여 보자라고 하는 거에 있어서 항상 하는 작업이 연두색으로 하이라이티 컨덴세이션입니다.

 뭔 소리냐면음 이런 소리 많이 들어보지 않으셨어요? 문장 하나만 바꿔도 결과가 달라진다.

 단어 하나만 잘 써도 문장 결과가 달라진다.

 그래서 어 단어 사전을 찾아서 좋은 단어 좋은 단어란 LLM이 많이 학습한 단어예요.

 학습을 학습한 데이터의 프리퀀시가 높을수록 좋은 결과 정답에 가깝게 뽑아내고 있는 걸 지금의 LM들에서는 느끼고 소형원 모델은 더 그러더라고요.

 그리고 어떻게 하면은 저 긴 거를 압축시켜 가지고 포인트만 살아다 100번을 만들까라는 그런 일환으로 해 봤는데 여기에서 마법의 월드는 장소 추출이기 때문에 장소 생각해 보세요.

 대부분 다 싱글 월드예요.

 싱글드 플레이스만 넣어도 잘 뽑힙니다.

 그래서 요런 식으로 또 코스트를 줄여가고 있다.

 그런 것도 프롬트 엔지니어가 하고 있는 일이다라고 말씀드리면서 요게 이제 마지막음 에피션시에 있어서의 그 퍼포먼스 효용을 말씀드릴 텐데요.

 요즘은 추론 리즈닝 모델 사실 리즈닝을 추론으로 번역하는게 저는 부적절하다고 생각하고 있어요.

 왜냐면 논쟁 모델이 아닌가? 스텝바이 스텝해서 논리력을 높여 가는 건데 추로는 사실 인퍼런스라는 컨셉으로 LLM 논문에서 엄청 많이 쓰이잖아요.

 그래서 논쟁 모델이라고 할게요.

 어, 논쟁 모델과 논쟁 모델이 아닌 모델의 도식입니다.

 그래서 GPT 45나 GPT 4.

5 같은 경우는 논쟁 모델이 아니기 때문에 왼쪽 그림처럼 부루탈해요.

 그냥 되게 그냥 멋이 없죠.

 그냥 넣으면 나온다.

 그런데 출업 모델들, 논증 모델들은 사고를 길게 할수록 답변 시간이 지연되고 프로 같은 경우는 저 두시간 돌려 본 적이 있거든요.

 원프로가 두시간 돌아가서 결과물을 갖다 줄 적이 있었는데음 이러한 단계적인 사고를 거쳐서 조금 더 답변을 정확하게 하려고 한다라는 스트럭처를 보여 주고 있습니다.

 그럼에도이 두 가지 모델은 단점이 있어요.

 어떤 단점이냐? 지금 이거를 리니어하다라고 표현을 할게요.

 넣 넣어서 아웃풋을 출력하는 구조가 리니어하죠.

 중간에 모델이 사고 과정을 잘못했어도 어 너 잘못했어.

 거기서 다시 해 줘.

 돼요? 안 돼요? 안 되죠.

 그래서 이러한 방법을 보완한게 랭그라프라는 컨셉인데요.

 컨셉이 있습니다.

 루프에 아까는 리니어하게 떨어지지만음 랭그래프는 circ큘레이션이에요.

 그래서 내가 노드이 컨셉에 대해서 자세히 말은 안 하겠지만 각각의 노드라고 할게요.

 제가 지금 다섯 개의 노드를 만들어 왔는데 노드를 순환하면서 인간이 피드백을 주고 LM의 잘못된 방향을 정정할 수 있습니다.

 그래서 요거를 가지고 프롬 옵티마이션을 할 수 있는데요.

 비용적인 걸 생각한다면 요거 비용 정말 테러블이에요.

 너무 많이 들어가요.

 그래서 정말 필요한 것에만 쓰는게 좋은 거 같다라는 얘기를 지금이 장표를 보면서도 생각이 드네요.

 우선 어 요거 어떻게 프롬 옵티마이션은 아까 말씀드린 메타프롬프트라는 컨셉인데 메타프롬프트를 하면서음 이밸루에이션까지 하는 거예요.

 아마 프롬트 E밸루에이션은 여러분들이 서비스를 했을 때 LRM 평가 성능 평가를 벤치마크 방식이 아닌 어떻게 사용자의 만족도를 평가하지면서 매트릭을 만드시는 것들이 많을 텐데 그때 쓸 수 있었던 방법입니다.

 그래서 첫 번째 단계에서는 사용자의 인텐트 분석 들어가고 두 번째는 인텐트 분석해서 반영한 프롬프트를 받는데 결과가 별로면 인간이 피드백을 줍니다.

 세 번째는 프롬프트를 테스트하고 다시 옵티마이즈 해서 평가까지 가요.

 그래서 요거 하나하나 말씀드리면서 어 조금만 더 잘 들어 주세요.

 저는 한 10분 정도만 더 쓰고 싶네요.

 프롬프트 분석입니다.

 그래서 이것도 다 이렇게 제가 말하는게 약간 편향이 있을 수 있지만 랭그래프도 프롬프트를 잘해야 프롬 엔지니어링을 잘해야 쓸 수 있는 도구가 됩니다.

 그래서 첫 번째 단계에서 프롬프트를 분석하고요.

 프롬프트 분석할 때에 어떤 아 유저 인텐트 분석할 때 아까 전에 말씀드린 거 다 그런 방식이고 중요한 건 여기에서 왜 lm은 트랜스포머 모델이기 때문에 자기가 생각한 거를 다 한번 다 토큰으로 옮기게 출력하게 한 다음에 후속 작업을 했을 때 결과물이 높아지는 높아질 수밖에 없죠.

 그래서 그렇게 합니다.

 그래서 테스트를 해서 제가 첫 번째 프롬프트랑 얘가 서주 프롬프트랑 비교하게 하는 거예요.

 그리고 왜 그렇게 생각하는지 저스티케이션 네가 그 이유에 대해서 한번 설명해 봐.

이 이 과정이 있고 없고에 따라서 결과가 상당히 차이가 있거든요.

 어떤 때는 원래 프롬포트가 더 낫다고 해요.

 저는 이거를 굉장한 어 프로마이징한 포인트라고 봤습니다.

 왜냐면 LM은 굉장히 수동적이에요.

 사람이 시키지 않으면 하진 않잖아요.

 그런데 오리지널 프롬트가 더 낫다라고 말하면음 요거는 써 쓸 수 있는 어떤 객관적인 어떤 지표가 되겠다라고 생각이 되고요.

 어 그다음 단계에서 프럼프트를 고도화하는데 이때는 세 단계를 거쳤어요.

 기존의 프롬프트 인간 피드백 AI 너 네가 네가 피드백해 봐라고 해서 세 개를 피드백하게 하게 하면서 루프를 돌립니다.

 그리고 또 마음에 안 들면 다시 앞으로 갈 수가 있어요.

 그리고 마지막에 이밸루에이션인데요.

 이밸루에이션에서는 프롬프트를 하는 방 이밸루에이션 하는 방식이 엄청 많을 텐데 제가 선호하는 방식은 바이너리 스코어예요.

 사람도 중간 편양에 있어서 아마요 세미나 만약에 만족도 조사를 한다고 하면 여러분들은 3, 4를 많이 주실 거예요.

 0이나 5를 주시는 케이스.

 물론 너무 만족스러면 5를 쓸 수 있겠지만 LM은 더 심하거든요.

 그래서 아예 중간 편향을 없애서 0 아니면 1점으로 제가 만든 매트릭스 문장을 읽게 하고 프롬프트를 평가합니다.

 그랬을 때 더 객관성이 올라가요.

 그래서 지금 보시면 문장도이 지금 개선된 프롬프트가 사용자의 의도랑 언라인이 돼 있니? 혹은 이전에 프롬프트보다 더 낫니라고 하면서 yes or노 question을 closed question 져 있는 걸 쓰면서 평가까지 돌리고 나면이 그래프는 할 일을 다 했습니다.

 그래서 결과물을 뽑으면 이런 식으로 나오거든요.

 어 토큰 소모량이 상당해요.

음 그리고요 소스는 깃에 가시면 그 솔라 쿡북 깃에 제가 요걸 만들어 놔 가지고 어 가시면 필요하시면 응용하셔서 써도 됩니다.

 그래서이 방식을 통해서 랭그라프와 프롬 엔지니어링을 통해서 LLM의 퍼포먼스 리니어한 거에서 오는 한계를 극복했던 사례를 마지막으로 말씀드리면서 하나의 장표가 남아 있습니다.

 그래서 2025년 3월음 앞으로의 프롬 엔지니어링에 대한 현 과제만 언급을 잠깐 드릴게요.

네 가지인데요.

 우선 저는 당분간 프럼트 엔지니어링이 사라지지 않을 거라고 당연히 생각하고 요즘 MCP 나오면서 더 중요해진 거 같아요.

 그것도 잘 쓰려면 프롬프트를 잘 써야 됩니다.

 그래서 이렇게 정의를 하고 싶어요.

 자연어원인데 백엔드를 정말 델리케이트하게 설계하는 엔지니어 자연어라서 그 갖고 있는 한계를 자 극복하는 어 엔지니어링을 해야 된다라고 생각을 하고 있고요.

음이네 음,이네 가지가 되게 중요해질 것 같습니다.

 LM이 너무나 많이 나오고 있어서 저는 LM 나올 때마다 서비스에 썼던 프롬프트 마이그레이션을 하진 않거든요.

 그냥 보편적으로 다 잘 먹는 구조를 만들어요.

 Strued 프롬을 하는 거.

 그리고 출론 논쟁 모델이 대세기 때문에이 논쟁 모델을 지금은 너무 긴 단계를 거치는데 조금 포커스들을 둬서 짧은 논증만으로도 체인 오브 더 프롬으로 성능을 볼 수 있는 연구 방법.

 그리고 제가 지금음 커리어 초반에는 텍스트 제너레이션 모델을 썼는데 작년에는 영상도 만졌고 현재는 지금 피지컬 AI 프롬도 하고 있는 것처럼 저변이 엄청 넓어지고 있고 멀티모델 프롬도 필요해진 상황이 시대입니다.

 그래서 브러더한 어떤 어션을 위한 프롬 엔지니어링 필요하고요.

 음.

 LM이 제너럴하지만 저희는 이제 버티컬하게 하려고 하는 시도가 많죠.

 그래서 테스크 스페시픽한 프롬 엔지니어링 기법들이 중요해질 것 같고요.

 중요하고 현재도 그러면서 제가 두 가지 키워드를 갖고 왔는데 인간은 너무 프롬프트를 쓰는 걸 귀찮하는 거 같아요.

 근데 저는 신나게 쓰지만 그래서 프롬프트 자동화는 계속 계속 더 잘 될 거 같아요.

 그래서 프롬어토메이션을 어떻게 할 것인가? 그리고 세이프티랑 가버넌스 강화는음 정말 중요한 이슈입니다.

 그래서 요것들 가지고서 오늘 시간에 제가 전달드리고 싶었던 어떠한 밀도 있는 얘기는 다 드린 것 같습니다.

음 한 줄로 정리를 한다고 하면 프롬 엔지니어링은 정말로 경험의 과학입니다.

 경험한만큼 보이고 경험한만큼 잘 쓸 수가 있고요.

 그래서 많이 써 보시고 실패도 많이 해야 LM이 어떤 앤지를 알아야 잘 쓸 수 있으니 여러분들이 그 쓰시는 생성형 AI LM에 족적을 남기시면 좋겠습니다.

 음.

 이상으로 발표를 마치겠습니다.

 감사합니다.

 [음악]