ChatGPT 멤버 개발! 193배 빠른 AI 'Jev', 진짜 효율과 숨겨진 진실은?

제브(Jevy) AI: 혁신인가, 마케팅인가?

1. 제브 AI, 뭐가 다르다고?

• 속도와 가격: 기존 AI보다 193배 빠르고 444배 싸다고 주장해.
• 새로운 모델? 타입세 AI라는 회사에서 만든 '시스템 원 모델'이라고 부르는데, 기존 언어 모델(LM)과는 다르다고 해.
• 만든 사람: 오픈 AI에서 GPT-4, ChatGPT 논문에 참여했던 디오고 알메이다가 만들었어. 이 사람이 ChatGPT를 만들고 나서 "왜 초인적인 챗 모델이 AGI(인공 일반 지능)로 이어지지 않는지" 고민했다고 해.

2. 제브 AI의 원리 (쉽게 말해줄게!)

• 기존 LM: 글자를 하나씩 이어 붙여서 답을 만들어. 그래서 좀 느려. 마치 글쓰기 선수에게 한 단어만 쓰라고 하는 것과 같아.
• 제브 AI: 말을 안 하고 '고르기만' 해. 객관식 문제만 푸는 기계라고 생각하면 돼. 예를 들어, "이 이메일 스팸이야?" 같은 질문에 답하는 거지.
  • 질문 형태: 딱 세 가지야.
    1. 선택지 고르기 (Choice): 여러 개 중에 하나 고르기.
    2. 점수 매기기 (Score): 1점에서 5점 사이로 점수 매기기.
    3. 예/아니오 (Yes/No): 맞다/아니다로 답하기.
  • 답변 방식: 한 글자씩 쓰는 게 아니라 한 번에 답을 내. 그래서 엄청 빨라! (0.07초 ~ 0.5초)
  • 가격: 입력은 싸고, 출력은 거의 공짜야.

3. 제브 AI, 정말 다를까? (장점과 단점)

• 장점:

  • 출력을 줄여도 모델은 그대로: 기존 AI는 답이 짧아도 모델 전체를 돌려야 해서 비싸. 제브는 처음부터 다른 개념이라 싸.
  • 확률의 정확도 (이게 진짜야!):
    • 기존 AI는 사람이 좋아할 만한 답을 자신 있게 말하는 경향이 있어. (예: "이 음악은 으스한 분위기가 인상적이네요.")
    • 제브는 "스팸입니다" 대신 "스팸일 확률 93%"처럼 정확한 확률을 알려줘.
    • 이 확률이 실제 맞을 확률과 비슷하게 훈련됐다고 주장해. (RLHF 대신 RLCD 사용)
    • 이걸 캘리브레이션(Calibration)이라고 하는데, 자신이 얼마나 맞출 수 있는지 스스로 아는 능력이야. 마치 일기 예보에서 "비 올 확률 70%"라고 했을 때, 실제로 10번 중 7번 비가 오는 것처럼.
    • 이게 왜 중요하냐면, 개발자가 "95% 넘으면 자동 처리, 그 밑은 사람에게 넘기기"처럼 규칙을 세울 수 있게 해줘.

• 단점 (솔직히 마케팅 같기도 해):

  • 형식 보장: 요즘 LLM API에서도 이미 할 수 있는 기능이야. (구조화된 출력, JSON 스키마 강제 등)
  • 벤치마크: 자기들이 만든 벤치마크를 사용했어. (GPT-4, PaLM 2 평균을 기준으로 삼음)
  • 가격: 보조금이 아닐 수 있다는 걸 증명할 수 없다고 스스로 말했어.
  • 환각(Hallucination) 문제: 환각을 없앤 게 아니라, 확률을 줌으로써 판단을 사용자에게 넘긴 측면이 있어. (임계값을 잘못 잡으면 조용히 틀린 결정이 될 수 있음)
  • 아키텍처 비공개: 오픈 AI 모델 위에 올린 거 아니냐는 의심도 있어. (최근에 0.5B 모델 위에 제브와 호환되는 API를 얹은 오픈 소스 모델이 나왔어.)
  • 할 수 있는 일이 좁아: 코드 생성, 별점 매기기, 이미지 처리 등은 못 해. 선택지도 255개로 제한돼 있어.

4. 제브 AI, 왜 지금 나왔을까?

• AI의 두 가지 종류:
  1. 어시스턴트 (Assistant): 사람이 옆에서 만족하는 게 목표인 AI (예: 글쓰기, 대화) - 기존 LLM이 잘함
  2. 오토메이션 (Automation): 아무도 안 보는 곳에서 조용히 돌아가는 게 목표인 AI (예: 고객 응대 결정, 스팸 분류) - 기존 LLM은 목표가 안 맞음
• 제브 AI의 역할: 바로 이 오토메이션 영역을 위한 AI야. 사람이 안 보는 일에 맞게 훈련됐기 때문에, 사람 눈치를 안 보고 정직한 확률을 주는 거지.
• 중간층의 중요성:
  • 맨 위: 사람과 대화하는 LLM (비싸고 느리지만 사람이 보니까 괜찮음)
  • 맨 아래: 로봇 컨트롤러처럼 아주 빠른 AI (0.007초 단위 반응)
  • 가운데: 아무도 안 보는데 초단위로 내려야 하는 판단 (스팸 분류, 요청 넘기기 등) - 이 영역을 제브 AI가 채우는 거야!

5. 결론적으로...

• 모델 자체로는 게임 체인저가 아닐 수 있어. 원리가 완전히 새롭지도 않고, 벤치마크도 자기들이 만들었고, 캘리브레이션 주장도 아직 검증이 안 됐어.
• 구조적으로는 중요해. AI가 사람을 만족시키는 것뿐만 아니라, 사람이 안 보는 일을 대신하는 오토메이션 AI로 나아가기 시작했다는 점에서 의미가 있어.
• 핵심은 '사람이 안 보는 판단'을 얼마나 많이 하느냐야. 지금은 비싼 LLM이 이 일을 억지로 하고 있을 뿐이지.
• 제브 AI는 '틈새 상품'이야. 성능이 뛰어난 모델이라기보다, 비어 있던 '중간층'을 처음으로 채운 상품이라고 볼 수 있어.

앞으로 생각해 볼 점:

• 내 서비스에서 LLM에게 "예/아니오"만 묻는 호출이 얼마나 많은지 세어보자.
• 제브 AI 같은 모델을 써서 비용을 줄이고 효율을 높일 수 있는지 고민해보자.