MLOps Now Nov Session #4 : 코르카가 바라보는 LLM 기술과 제품의 방향 (by 이태호, Corca)
게시일:
작성자: 자청의 유튜브 추출기
- 오늘은 코르카의 LM 기술과 제품 방향을 설명했어요.
- 저희는 추천 시스템과 에이전트 두 가지 프로덕트를 개발 중입니다.
- 2022년 4월부터 LM 연구를 시작했고, GPT 3와 팜이 나오면서 관심이 높아졌어요.
- GPT 3.5와 4의 성능 덕분에 시장이 활발히 열렸어요.
- 에이전트는 LM이 생각하는 뇌, 에이전트는 미션과 행동, 도구, 지식을 갖춘 객체입니다.
- 텍스트 컴플리션을 넘어 새로운 관점으로 에이전트를 바라보게 되었어요.
- 저희는 코딩, 실행, 디버깅까지 가능한 에이전트를 만들었어요.
- 예를 들어 투두 앱을 만들어 보여주는 영상도 있답니다.
- 에이전트들이 협력하는 구조를 연구하며 확장 가능성을 탐구 중입니다.
- 여러 에이전트가 서로 대화하며 전문성을 키우는 AI 리제이션을 구상하고 있어요.
- 도구 개선, 협업, 자기 학습 등 다양한 연구를 진행하고 있습니다.
- 저희는 GPT 4에 집중하며, 오픈 소스 LM 성능 향상도 고민하고 있어요.
- 실시간 파인 튜닝과 컨텍스트 확장 연구로 비용 절감과 성능 향상을 목표로 합니다.
- 대화 내용을 실시간으로 반영해 비용을 낮추고, 협력하는 에이전트도 발전시켜요.
- 지금까지 두 가지 프로덕트와 여러 연구를 통해 기술을 발전시키고 있습니다.
- 질문 있나요?
- 보안 문제는 아직 고려하지 않았어요.
- 대화 의도 파악은 3~4턴 내에 충분히 가능하다고 봐요.
- 프롬프트는 유저의 의도를 적극적으로 질문하는 방식으로 설계돼 있어요.
- 협업 에이전트 구조는 오픈소스와 연구 논문에서 많이 시도되고 있어요.
- 산업에서는 아직 프로덕트로 정착된 사례는 드물어요.