안녕하세요 엔지니어 TV 입니다 오늘은 테슬라의 휴머노이드 로봇 옵티머스가 춤을 추게 된 놀라운 원리에 대해 알아보겠습니다 외형은 크게 달라지지 않았지만 움직임은 훨씬 더 자연스럽고 더 빠르고 더 다양해졌죠 그 비밀은 바로 AI와 시뮬레이션 학습에 있습니다 테슬라 AI 부사장 밀란 코박은 실제 세계의 AI는 테슬라에서 구현되고 있다고 말했습니다 옵티머스의 하드웨어는 크게 바뀌지 않았지만 동작이 진화했죠 비결은 바로 강화 학습과 시뮬레이션을 통한 AI 훈련입니다 로봇이 움직이는 방식을 사람이 일일이 프로그래밍 하지 않고 AI가 스스로 학습하게 만든 거죠 옵티머스의 진화 과정을 살펴보면 4월 2일부터 시작되었는데 최근의 산책 무릎을 곧게 펴고 발꿈치부터 발끝까지 부드럽게 걸으며 팔을 흔들고 쉬면서 걷는다 RL 강화 학습 시뮬레이션을 통해 완전히 훈련 되었습니다 라고 걷는 모습이 진화된 것을 소개를 했죠 여기에서 밀란 코박은 테슬라의 오래된 엔지니어로 현재는 로봇 프로젝트 옵티머스의 부사장 겸 엔지니어링 총괄 책임자로 재직 중입니다 그는 테슬라의 자율주행 기술과 휴머노이드 로봇 개발의 핵심 인물로 옵티머스 로봇의 2세대 버전 개발 을 주도했으며 공장 내 자율 작업이 가능한 수준 까지 발전시켰습니다 특히 그는 옵티머스 프로젝트에서 비전 기반 내비게이션 실내 환경에서의 자율적인 이동이 가능하게 하는 기술 gps 없이도 작동 가능한 시각 인식 기술 개발에 집중해 온 인물입니다 그는 실제 세계의 AI 는 테슬라에서 구현 되고 있다 라고 테슬라의 AI 기술 발전에 대한 자부심을 표현했습니다 즉 그는 AI 소프트웨어 엔지니어 입니다 이건 테슬라 그리고 옵티머스가 하드웨어에서 소프트웨어 기술 로 넘어가는 중이라는 거죠 동일한 몸인데 동작이 달라지는 기술입니다 그리고 한 달 이후에 나온 게 이제 댄스 춤에 관련된 거죠 강화학습을 이용한 시뮬레이션 으로 완전히 학습되었다 시뮬레이션 상태에서 실제로 학습 코드의 많은 최적화와 수정이 이루어졌다 이를 통해서 댄스 춤이 가능해졌다 라는 거죠 영상에 보이는 케이블에 대해서 말이 많았나 봅니다 실제 이것은 로봇 휴머노이드에서 기본적으로 장착하는 안전장치 입니다 생각해 보면 이 로봇은 하드웨어 가격보다 현재 이 춤을 추게 되는 소프트웨어 가격이 훨씬 비쌉니다 그리고 이 몸에 최적화 되었을 가능성이 높죠 그래서 이 하드웨어는 소중한 것이죠 그래서 넘어져서 동작에 문제가 있으면 안 되겠죠 사람하고 똑같습니다 어떤 고난이도의 체조 같은 거 할 때 옆에서 도와주죠 그리고 보조도구를 착용하고 합니다 그래서 부상을 당하면 다시 그 동작을 하기 위해서 재활 훈련 이라든지 컨디션이 달라지는 거죠 로봇 교육도 비슷하다 라고 봅니다 이를 통해서 아직 초기 단계 결과 이기 때문에 안정성은 빠르게 개선될 것이다 그리고 이제 핵심적인 내용이 전적으로 시뮬레이션으로 학습되었다는 것을 강조했습니다 옵티머스는 실제 환경이 아니라 가상 시뮬레이션 세계에서 강화 학습으로 훈련되었다는 겁니다 즉 사람이 일일이 시연하거나 직접 프로그래밍 하지 않고 AI가 자체 학습을 통해 움직임을 습득한 겁니다 여기서 어떻게 움직임을 습득하는 것은 또 여러 가지 방법이 있는데요 어떻든 이 춤을 동일하게 추는 어떤 대상이 있어야 됩니다 교육을 하기 위해서 그 사람이 좌표를 주든 아니면 그 사람의 동작을 어떻게 시뮬레이션화 되어 있어야지 이 로봇에 이식이 가능하다는 거죠 그냥 가상공간이 있는 것이 아닙니다 가상공간도 만들어야 됩니다 sim to real transfer 이 기술은 시뮬레이션에서 학습된 동작이나 판단을 실제 물리 환경에서도 적용 가능하게 만드는 핵심 기법입니다 테슬라는 이 부분의 코드에 많은 최적화와 버그 수정 잘못된 것을 수정해가며 실현도를 높였다 라는 겁니다 이건 초기 단계라는 거죠 매우 빠른 속도로 안정성과 기능이 향상될 거라는 겁니다 추가의 춤 동작 행동이 가능하다는 거죠 이를 예고를 했고 이건 테슬라의 옵티머스 프로젝터가 단순 데모 수준을 넘어 실제 활용 가능성에 가까워지고 있음을 시사했다 라는 거죠 그리고 특히 이 속도가 빨라지고 있다 라는 겁니다 그리고 그다음 5월 14일 추가 영상 이 바로 나왔죠 그리고 이번 영상에는 더 이상 케이블도 없었습니다 이 과정들을 쭉 보니까 실제 이렇게 발전된 것 같기도 하고 아니면 이런 스토리를 만들려고 한 생각도 사실 드는데요 이 영상 속 장면은 전부 실시간 속도 리얼타임 스피드로 재생이 되었고 cgi 컴퓨터 그래픽도 전혀 없습니다 모든 동작은 시뮬레이션에서 학습되었고 단 한 번의 실전 시도, zero shot 현실 환경에 바로 적용되었다는 겁니다 단순히 재미있는 데모일 뿐 아니라 이를 구현하기 위해 시뮬레이션 내 로봇 모델을 대폭 개선했고 도메인 랜덤화 같은 기술도 적용해 실제 상황에 바로 적용 가능한 강인한 보행 및 전신 제어 기술을 발전시켰다는 겁니다 또한 이번 실험을 통해 하드웨어적으로도 많은 교훈을 얻었다는 거죠 아마 하드웨어도 개선되어야 될 거로 봅니다 그리고 로봇의 전력 프로파일 파워를 얼마나 쓰느냐 배터리 하고 관계 있죠 이 부분도 정밀하게 조정이 가능할 것이다 이런 정보도 얻었다는 거죠 그리고 이제 결론은 AI 로 나오는데 테슬라는 이제 단순한 멋진 자동차 회사가 아니다 현실 세계에서 변화를 이끄는 AI가 태어나는 곳이 바로 이 현장이다 테슬라 라는 거죠 여기에서 계속 AI를 강조합니다 기술적인 설명을 더해 보면 zero-shot sim-to-real transfer 이건 로봇이 시뮬레이션만 학습하고 단 한 번의 사전 훈련 없이 real world fine tuning 이라고 하는데 이거 없이 현실에서 바로 성공적으로 동작하는 것을 의미 합니다 제로샷 한 번에 해내는 거죠 천재만이 가능한 거죠 사실 이는 시뮬레이션의 정밀도와 도메인 랜덤화 기술이 매우 잘 구현되어 있음을 의미합니다 대부분의 로봇은 실제 테스트 과정에서 수많은 보정이 필요한데요 테슬라는 이를 생략했다는 겁니다 이전에 보면 중국의 때리는 로봇 영상 제가 보여드린 적이 있죠 이것도 실제 튜닝 중 발생한 게 아닌가 그런 사례가 아닌가 그러면 도메인 랜덤화(domain randomization) ? 시뮬레이션 환경을 무작위로 다양하게 변화시켜 학습시키는 기술 입니다 조금 다른 환경에서도 동일한 동작이 가능해야 된다는 거죠 조명 바닥 마찰력 센서 노이즈 등을 무작위로 설정하여 학습함으로써 현실 세계 예측 불가능한 변수를 견딜 수 있게 만들었다는 겁니다 이를 통해서 현실 세계에서 로봇 안정성과 적응력을 비약적으로 향상시킬 수 있었다 라는 거죠 이를 통해서 로봇이 춤을 추면서 잘 안 넘어진다 라는 겁니다 그리고 기존보다 더 정밀한 물리 기반 시뮬레이션 로봇 관절 센서 모델 개선을 통해 액츄에이터 라든지 이런 센싱 센싱을 통해서 현실에서의 움직임을 보다 정확하게 예측하고 실행할 수 있도록 개발이 가능해졌다 라는 겁니다 하드웨어도 튜닝이 되고 그리고 로봇이 움직일 때 소비되는 전력을 세밀하게 분석하고 조정 함으로써 효율성 발열 배터리 사용량을 최적화할 수 있게 되었다 라는 겁니다 나중에 다루겠지만 이런 춤동작은 계속 할 수 없습니다 사람도 10분 이상 유지하기 힘들거든요 전기로 동작하는 로봇 같은 경우에는 발열이 대단히 문제가 됩니다 테슬라 옵티머스가 시뮬레이션 기반 강화학습을 통해 실전 AI 로봇 플랫폼으로 진화하고 있다는 거죠 이 로봇이 성공하면 로봇은 제조 물류 가정 자동화 등 다양한 산업에 혁명적인 변화를 일으킬 수 될 것입니다 간단히 교육시키는 것을 보면 이렇게 로봇을 교육을 시킵니다 원격 조작 시뮬레이션 워크 플로 사람이 떨어진 장소에서 로봇을 조정하는 방식을 통해 로봇 개발자들은 엔비디아 옴니버스 엔비디아가 만든 가상 협업 플랫폼 3D 시뮬레이션과 AI 훈련에 특화된 겁니다 NIM 마이크로서비스 AI 추론 기능을 손쉽게 할 수 있는 서비스를 제공합니다 일단 녹화된 소수의 인간 시연이 필요합니다 전혀 무에서 출발하는 건 아니고요 이 시연 데이터를 가지고 방대한 양의 합성 동작을 인위적으로 만들게 됩니다 여기에는 지각 데이터도 있는데요 로봇이 보고 듣고 느끼는 정보 그러니까 카메라 영상 센서 입력 등도 생성할 수 있습니다 이건 한국 기업 로보티즈의 모방 학습 사례입니다 한국 사례 좀 보기 힘들죠 최근에 나온 건데 이것도 동일합니다 원격 조작을 통한 데이터 수집 그리고 수집된 데이터를 시각화 합니다 그리고 학습된 모델을 만들고 이를 이용해서 추론까지 진행이 됩니다 이 기술을 통해 로봇은 사람이 보여주는 시범 데이터를 이해하고 그 다음에는 고수준 하이레벨의 동작을 실행할 수 있게 됩니다 영상에서는 단순히 집기 놓기 뭐 이런 단순한 작업부터 시작하지만 앞으로는 더 복잡한 조작 동작도 구현할 수 있게 된다는 겁니다 좀 더 진화된다면 이 사례는 아예 시범을 눈으로 보고 하는 겁니다 옆에서 요리하는 거 보고 따라서 요리를 하는 것이죠 이렇게 되려면 요리사의 추론 의식이 들어 있어야 요리 성공 가능성이 높아지게 됩니다 일반인이 아무리 봐도 요리를 따라 하기 쉽지 않죠 즉 LLM AI 능력에 요리 추론의 기능을 추가한 겁니다 즉 요리 영상과 자막을 기반으로 로봇이 실행 가능한 요리 작업 계획을 자동 생성하게 되고 이 계획을 로봇 팔이 수행하는 것이죠 여기에서 옵티머스로 연결해 보면 가령 여러 가지 춤을 배운 옵티머스가 나중에는 새로운 춤을 보고 바로 따라하게 될 수도 있다는 겁니다 이건 일반 사람이 춤의 기본을 배우고 가령 재능이 있다면 아니면 재능이 생기게 된다면 다른 새로운 춤을 바로 따라하게 되고 진짜 춤에 재능이 있다면 새로운 춤도 만들어내게 되는 원리와 동일한 것이죠 이 상황은 로봇이 AI화 되는 피지컬 AI화 되는 상황으로 상황이다 이렇게 보시면 되겠습니다 우리는 이제 분명히 알게 되었죠 테슬라는 단순한 자동차 회사가 아니다 AI와 로보틱스의 혁신을 이끄는 기업이며 옵티머스는 그 중심에 있는 미래형 AI 로봇 플랫폼 이라는 거죠 그러면 다음 영상에서는 옵티머스의 구체적인 기술 스택과 AI 훈련 과정의 더 깊은 이야기도 들려 드리도록 하겠습니다 구독, 좋아요, 알림설정 부탁드립니다 🔥 관련 기업 투자 아이디어는 고정 댓글에 🔥 관련 기업 투자 아이디어는 고정 댓글에