맥북 M5 맥스 64GB로 로컬 자율주행 직접 구현! 놀라운 결과와 가능성 대공개!

맥북으로 자율주행 도전! Q&A 드라이브와 알파마요 분석

이번 영상에서는 맥북으로 자율주행에 도전한 경험과 다양한 AI 모델들을 분석해봤어. 평소 내가 재밌다고 생각하는 걸 영상으로 만들면 반응이 별로 없을까 봐 걱정되기도 하지만, 이번엔 정말 신기하고 재밌는 걸 해봤다고 생각해!

1. 맥북으로 자율주행? 이게 가능하다고?

• 준비물: 맥북 (M5 맥스, 64GB RAM), 인스타 360 액션캠 (웹캠 모드), 외장 GPS
• 어떻게 했냐면:
  • 맥북에 자율주행 앱을 만들고 모델을 올렸어.
  • 인스타 360 액션캠으로 주변 상황을 찍고, 맥북 화면에서 GPS로 내 차 위치를 파악했지.
  • 맥북 화면에는 테슬라 FSD처럼 주변 상황을 보여주는 '버드 아이뷰'와 카메라 영상 분석 결과를 보여주는 화면이 나왔어.
  • 핵심은 VLA (Vision-Language-Action): 카메라로 본 걸 언어로 설명하고, 그 언어를 바탕으로 '직진', '멈춤' 같은 행동을 결정하는 거야.
• 초기 버전의 한계:
  • 화면이 좀 끊기고, 2초 정도 지연이 있었어. (지금은 최적화해서 훨씬 빨라졌어!)
  • 코너 같은 복잡한 상황에서는 아직 좀 불안정했지.
  • '인식 헤드' (주변 상황을 보여주는 기능)를 켜면 속도가 더 느려졌어.

2. Q&A 드라이브: 자율주행 모델의 정체

• 어떤 모델인가? 알리바바에서 만든 'Q&A 드라이브 포 빌리언 패러미터' (Q&A 드라이브 1)라는 모델이야. 허깅 페이스에서 쉽게 다운받을 수 있어.
• 어떻게 작동할까?
  1. 카메라 영상 입력: 카메라로 주변 상황을 찍어.
  2. VLM (Vision-Language Model): 찍은 사진을 글로 설명해줘. (예: "앞에 차가 없습니다. 쭉 가도 됩니다.")
  3. 플래너 (Planner): 설명된 글을 보고 5초 뒤까지의 주행 경로를 계획해.
  4. 차량 인터페이스: 계획된 경로를 바탕으로 스티어링 휠 각도, 액셀, 브레이크 조작을 결정해.
• '인식 헤드'의 역할: 운전자나 엔지니어가 차가 어떻게 주변을 인식하고 있는지 볼 수 있게 해주는 기능이야. (테슬라 FSD 화면처럼)
• 맥북에서의 성능: 이 '인식 헤드' 기능이 맥북에서 가장 많은 컴퓨팅 파워를 사용했어. 이걸 끄면 속도가 훨씬 빨라졌지.

3. 알파마요: 더 강력하지만 무거운 모델

• 어떤 모델인가? 엔비디아에서 공개한 오픈 웨이트 모델이야. 알파마요 1.5 (100억 개 파라미터)와 알파마요 2 슈퍼 (340억 개 파라미터)가 있어.
• Q&A 드라이브와의 차이점:
  • 알파마요는 기본적으로 카메라 7개가 필요할 정도로 더 많은 센서를 사용해.
  • '인식 헤드' 기능이 없어. (Q&A 드라이브의 인식 헤드를 빌려와서 쓸 수도 있어!)
• 맥북에서의 성능: 340억 개 파라미터 모델은 맥북에서 돌리기엔 너무 커. 4비트로 양자화해도 한 프레임당 14초 이상 걸릴 정도로 느렸어. 실차 주행에는 부적합하지.
• 알파마요의 장점: Q&A 드라이브보다 더 복잡한 상황 판단 능력이 뛰어나. (예: 차선 합류 상황에서 차간 거리 유지 등)
• 알파마요 2 슈퍼, 왜 나왔을까? 이건 직접 차에 넣는 모델이 아니라, 이걸 기반으로 더 작고 빠른 모델 (알파마요 엣지)을 만들어 사용하라는 의도야.

4. 엔드투엔드 자율주행이란?

• 정의: 센서 입력값으로 액션 플랜까지 전체를 미분 가능한 프로그램으로 만드는 거야. AI가 스스로 학습하고 수정하는 방식이지.
• 엔드투엔드가 아닌 것: 규칙 기반으로 작동하는 프로그램 (예: 테슬라 FSD 버전 11 이전, 대부분의 ADAS)
• 엔드투엔드 모델: 테슬라 FSD 버전 12 이상, Q&A 드라이브, 알파마요
• 웨이모: 엔드투엔드와 규칙 기반이 섞인 하이브리드 방식인 것 같아.

5. 하드웨어 비교: 맥북 vs 테슬라 vs 엔비디아

• 핵심은 컴퓨팅 파워와 메모리 대역폭!
• 맥북 (M5 맥스): 하드웨어 스펙은 테슬라 하드웨어 4와 비슷하지만, MLX 아키텍처 때문에 실제 성능은 절반밖에 안 나와. (8비트 연산 문제)
• 테슬라: 컴퓨팅 파워와 메모리 대역폭을 균형 있게 분배한 느낌이야.
• 엔비디아: 컴퓨팅 파워에 집중하는 경향이 있어.
• 테슬라 FSD V14 라이트의 놀라운 점: 하드웨어 3에서도 돌아가게 만든 건 정말 대단한 엔지니어링 업적이야. 성능을 위해 모델 크기를 많이 줄였을 거야.

6. 현대자동차의 자율주행 전략

• 투트랙 전략:
  • 트랙 1 (빠른 실현): 엔비디아 하이페리온 사용, 2028년 상반기까지 레벨 2+ 자율주행차 출시 목표.
  • 트랙 2 (독자 개발): 자체 AI (아트리아 AI) 활용, 2029년 하반기 레벨 2++ 목표, 이후 레벨 4 로보택시 개발.
• 개인적인 생각: 엔비디아 하드웨어를 선택한 것은 좋은 호재일 수 있지만, 현대차의 독자 개발 계획은 좀 더 지켜봐야 할 것 같아. AI 분야에서는 '증류' (더 작고 빠른 모델 만들기)가 중요하다고 생각하는데, 현대차가 이 부분을 어떻게 풀어갈지가 관건이야.

7. 테슬라의 진짜 무기: 데이터 플라이휠

• 모델은 결국 따라잡힌다: Q&A 드라이브, 알파마요처럼 오픈 소스 모델이 많아지면서 모델 자체의 기술적 해자는 점점 줄어들고 있어.
• 테슬라의 압도적인 강점: 전 세계에 퍼져 있는 차량에서 실시간으로 데이터를 수집하고, 그 데이터를 바탕으로 모델을 계속 개선하는 '데이터 플라이휠' 시스템이야.
• 소프트웨어 정의 차량 (SDV)의 핵심: 단순히 OTA 업데이트나 넷플릭스 시청이 아니라, 차량 자체가 데이터 수집 및 개선 루프를 돌리는 구조를 만드는 것이 중요해.

8. 결론: 데이터 플라이휠이 곧 파워!

결국 모델 자체보다 데이터 플라이휠을 갖춘 회사가 진정한 힘을 가진다는 것을 이번 경험을 통해 느꼈어. 테슬라의 데이터 플라이휠은 쉽게 따라잡기 어려운 자산이며, 이것이 테슬라 FSD의 강력한 기술적 해자라고 생각해.

참고:

• DTO 드라이버 앱: 맥북에서 자율주행 앱을 사용해보고 싶다면 깃허브에서 다운받을 수 있어.
• 알파마요 MLX 변환: 허깅 페이스에서 4비트 양자화된 모델을 다운받아 사용해볼 수 있어.

긴 영상 시청해줘서 고맙고, 다음에도 재밌는 내용으로 찾아올게!