아이언맨 자비스처럼 운전 중 코딩? AI가 알려주는 놀라운 방법!

내 자비스 AI, 어떻게 만들었냐면? (중학생 눈높이 설명)

인스타그램에서 보여줬던 내 AI 비서 '자비스' 말이야. 솔직히 말하면 인스타그램에서 편집해서 보여준 것처럼 엄청 빠릿빠릿하진 않아. 편집 때문에 좀 부드러워 보였던 거지. 오늘은 진짜 이 자비스가 어떻게 돌아가는지, 왜 만들게 됐는지 솔직하게 다 알려줄게!

왜 자비스를 만들었을까?

AI랑 1년 넘게 씨름하면서 느낀 건데, 나한테 병목이 있더라고. 바로 '나 자신'이었어. AI는 말을 막 쏟아내는데, 그걸 내가 듣고 이해하고 다시 입력하고 하는 데 시간이 걸리는 거야. 그래서 처음 생각한 게 STT(Speech-to-Text), 즉 말하는 걸 글자로 바꿔주는 기술이었어.

STT, 어떻게 해결했을까?

Whisper Flow라는 프로그램을 발견했지. 이걸 쓰면 내가 말하는 걸 AI가 맥락을 파악해서 정확하게 텍스트로 바꿔줘. 이걸 써보니까 "어? 이거 내가 직접 만들어 볼 수 있겠는데?" 싶어서 바로 시작했지. 이게 바로 자비스 프로젝트의 시작이었어!

자비스, 어떤 기술을 쓸까?

• STT (음성을 텍스트로): OpenAI의 Whisper 모델을 사용했어. 이걸로 내 목소리를 텍스트로 바꾸는 거지.
• AI 모델 (생각하는 뇌): 클로드(Claude)라는 AI 모델을 사용했어. 얘가 내 말을 듣고 똑똑하게 생각해서 답변을 만들어주는 역할을 해.
• TTS (텍스트를 음성으로): Qwen TTS라는 알리바바에서 만든 로컬 TTS를 사용했어. 이걸로 AI가 만든 답변을 다시 목소리로 바꿔주는 거지.

내 컴퓨터 사양은?

• 컴퓨터: 맥북 프로 16인치 (2024년 11월 모델)
• CPU: 애플 M4 프로
• 메모리: 48GB

자비스, 실제로 어떻게 돌아갈까?

1. 호출: "헤이 자비스!" 라고 부르면 깨어나. (시리처럼!)
2. 말하기: 내가 말을 하면 STT 기술로 텍스트로 바꿔줘.
3. 생각하기: 바뀐 텍스트를 클로드 AI가 받아서 똑똑하게 생각하고 답변을 만들어.
4. 말하기: 만들어진 답변을 Qwen TTS가 다시 목소리로 바꿔서 나에게 들려줘.

속도 문제, 어떻게 해결했을까?

처음에는 속도가 좀 느렸어. 특히 TTS(텍스트를 음성으로 바꾸는 과정)가 오래 걸렸지. 그래서 문장을 쪼개서 TTS를 계속 생성하게 만들었어. 내가 말하는 동안에도 뒤에서는 계속 목소리를 만들고 있는 거지. 그래서 마치 AI가 바로바로 말하는 것처럼 들리는 거야.

목소리는 어떻게 만들었을까?

• 음성 복제: 아이언맨 영화에 나오는 자비스 목소리를 복제해서 사용했어.
• 미리 녹음: 자비스가 자주 쓸 만한 말투나 표현들을 미리 녹음해뒀다가 중간중간 사용하게 했어.

자비스, 어디에 쓸 수 있을까?

• 운전할 때: 운전하면서 말로 AI한테 질문하고 답변을 들을 수 있어. 운전하면서 생각할 시간도 주는 거지!
• 아이를 볼 때: 아이를 보면서 컴퓨터 앞에 앉아 있기 힘들 때, 말로 AI랑 대화하면서 일을 처리할 수 있어.
• 나만의 정보 활용: GPT나 제미나이 같은 AI는 인터넷 정보로 대화하지만, 내 자비스는 내가 가진 모든 데이터(옵시디언 등)에 접근해서 대화하기 때문에 훨씬 더 똑똑하고 나에게 맞는 답변을 해줘.

앞으로는?

이 자비스 프로젝트뿐만 아니라 내가 했던 다른 프로젝트들도 앞으로 많이 공유할 예정이야. 구독해주고 댓글도 많이 남겨주면 정말 큰 힘이 될 거야! 너희들의 피드백을 바탕으로 더 좋은 영상을 만들 수 있거든.

다음 영상에서 더 유익한 이야기로 돌아올게! 끝까지 봐줘서 고마워!