[AI로 영상을 요약한 내용입니다]
💡내용 요약
HBM (고대역폭 메모리)는 AI 시대 D램 매출과 반도체 주도권을 사실상 좌우한다.
김정호 KAIST 교수는 “AI가 텍스트를 넘어 영상·영화까지 실시간 생성하려면 HBM의 대역폭·용량이 지금보다 최소 1,000 배 커져야 한다”고 전망한다.
이를 위해 ▲스택 층수 증가, ▲TSV·본딩 미세화, ▲GPU 기능 일부를 HBM 베이스 다이에 통합, ▲냉각 방식을 공랭→액침 (immersion) →칩 내부 냉각으로 진화시키는 로드맵(HBM4~8)을 제시했다.
결국 메모리·패키징·열관리·알고리즘이 융합된 ‘HBM 센트릭’ 구조가 반도체 산업의 새로운 패권을 결정하며, 한국 업체들이 기술·생태계 주도를 놓치면 뒤처질 수 있다고 강조했다.
📌핵심 주제
-HBM이 반도체 패권을 좌우한다
-기술 로드맵: HBM4 → HBM8
-‘HBM 센트릭’ 구조로 컴퓨터 아키텍처 재편
-한국 메모리 업체의 기회와 과제
👉언더스탠딩 문의: understanding.officialmail@gmail.com
👉글로 읽는 "언더스탠딩 텍스트".
https://contents.premium.naver.com/backbriefing/news
👉언더스탠딩 멤버십 가입
https://www.youtube.com/channel/UCIUni4ScRp4mqPXsxy62L5w/join
여기 뒤에 보이시는 거 보이시죠? 어, 인터넷 급판항 또 새로운 강구주가 같이 뭡니까? 네.
어, 왜 이렇게 안 좋아하세요? 남의 남의 집 구경하듯이 여기 어, 여기 제가 애용하는 것입니다.
인터넷 급판하나? 네.
어, 홍신사 바꿀 때 뭐 집에 인터넷 바꿀 때뭐 전화만 하면 하여튼 뭔가 하나라도 더 준다는 심지어는 쓰다가 잘 쓰다가 괜히 토라진 척하고 연락하잖아요.
그럼 뭐라 더 그도 뭐라 더 야, 어떤 사람 이럴 수 있지? 어.
야, 그러나 우리나라에서 뭐 살아가려면 꼭 필요한 것이고 사실 뭐 이렇게 해서 버는 돈이 여러분들 하루 주식 투자해서 버는 돈보다 안 될 수는 있어요.
그럼요.
그럴 수 있습니다만.
인생에서는 삶을 어떻게 대하느냐.
음.
이 자세가 되게 중요합니다.
다 여러분 여기 전화해서 돈 2만 원 혹은 20만 원 뭐 50만 원 그거 받으시라는게 아니라 음.
전화만 하면 받을 수 있는 건데 안 받고 버리는 건 인생의 사소함을 나는 그냥 포기하겠다는 매우 불량한 자세입니다.
그렇습니다.
매일 투표하자.
대선에 뭐 총선에 투표하자고 하는게 내 표 하나 때문에 결과가 달라지는 건 아니지만 음 내가 할 수 있는 최선을 다하는 삶의 습관을 갖는 건 매우 중요하기 때문에 여러분 이런 거 이런 거 무시하잖아요, 여러분.
다른 거로도 못 합니다.
네.
네.
특히 이제 잘하는 아이들이 있는 집안에서는 엄마가 2만 원 가지고 이렇게 통신사에 전화하고 이런 모습을 보여 줘야 아 인생이란 이렇게 최선을 다야 되는구나.
아니라이 그 진짜 많이 받으면 100만 원 이상도 받을 수 있대.
진짜로.
그냥 2만 원짜리 아니야.
정말.
네.
그렇다고 하니까 자세한 거 상담을 해 보시기 바라고.
자, 여기까지 하고.
네.
전화만 하시면 돈이 되는 전화.
네.
그렇습니다.
자, 오늘은 요즘 그 반도체 업계 가장 핫한 HBM 네.
고대역 폭 메모리.
뭐 이게 진짜이 AI 반도체에서 진짜 중요한데.
그런데 지금까지는 삼성전자는 좀 못하고 하이닉스가 다행히 잘해서 잘했는데 어근데 왜 삼성은 그럼 못 하고 하이닉스 잘했냐 이분 말을 하닉슨 잘 들었고 삼성은 안 들어다 이꼴이났다 얘기가 전해질 만큼 HBM의 아버지라고 불리는 카이스트 김정호 교수님 보시고 차세대 그 HBM 어떻게 흘러가느냐 아요 얘기 오늘 잘 들어야 삼성도 하이닉스 따라갈 수 있다.
예 하이닉스도 어 기술 100권을 놓치지 않을 수 있고 그렇다.
그렇습니다네 반도체가는 이야기도 함께 있는이 유한 강의가 지금부터 시작된다.
네.
김정 교수님 모시겠습니다.
어서 오십시오.
안녕하십니까? 반갑습니다.
안녕하세요.
예.
아.
HBM 왜 그 삼성 말을 안 들어 가지고 얘기는 공평하게 해 주신 건 맞습니까? 어 그럼 그 어 지난주에도 예 다 만나고 항상 기술 교류하고 그렇습니다.
그런데 이제 요번에 오늘 이제 미래 HBM 얘기를 하고자 하는 거는 예 그 제가 한 20년 동안 HBM 하지 않았습니까? 음근데 최근에 이제 HBM AI가 어 도래하면서 HBM이 D램에 어 제가 그 전문가는 아닙니다만 매출에 총 액도 HBM이 결정하는 거 같아요.
음 그러니까 어느 회사가 지름이 1등하느냐 2등하느냐가 HBM 결정하는 거고 요즘 한국 이제 주가가 요즘 뭐 오른다는 그런 트렌드가 보이더라고요.
외국인들이 사고 그것도 저는 HBM 영향이 있다고 보는 거예요.
어떤 회사 주식이 몇 % 오르냐.
예.
네.
그런데 제가 오늘 주장하는 건 앞으로 어 우리나라 포함해서 어 반도체 승패가 HBM에서 달려 있다.
이런 얘기를 오늘 하고 꼭 기록에 남겨 놓고 싶고 그러면 뭘 준비해야 되는데라는 그 대답을 오늘 어 여러분들하고 공유해 보고 싶습니다.
알겠습니다.
HBM이 차세대 HBM으로 바뀌고 있어요.
이제 바뀌 바뀌어야 되는데 HBM 4가 지금 이제 설계되고 있는데 예 어 오늘 HBM 88까지 발표할 예정입니다.
그러면은 한 15년 앞으로 15년네 30년이 HBM이 추도할 거라는게 제 주장이에요.
어 근데 이제이 3프로 TV는 영원히 기록으로 남잖아요.
어, 그런 약간 부담감을 가지고도 제가 말씀을 드리는 거고 이런 발표를 하는 거는 어, 우리 기업들도 한번 귀담아 들어 주셨으면 하는 제 생각이 있고 앞으로 HBM에 승부를 걸어라.
진화 트렌드가 이렇게 될 거다.
예.
승부를 걸어라.
이렇게 이렇게 해 봐라라는 거 하고 두 번째는 또 일반 국민들이 주식을 투자하거나 자녀분들이 공대를 다닌다고 하면 어느 분야를 해야 되나를 한번 미래를 어 한번 제시해 보고자 합니다.
제가 2010년 경에 이런 주장했을 때 거의 저한테 관심 기울인 사람이 없었고요.
근데 2025년에 많은게 변화가 있었잖아요.
또 다시 한번도해.
[음악] 그때는 이제 연구실에서 혼자 학회 가서 발표한 거고 어 지금은 한번 어이 공개된 기록으로 한번 남겨 보고 싶고 그다음에 또 하나는 저희가 6월 11일 날 어 생중계로 아침 9시부터 저녁 5시 반까지 저희 학생들 수명하고 나눠서이 전체 또 오늘은 이제 요약해서 말씀드리고 전체 발표회가 있습니다.
그 예, 그것도 유튜브에 올리려 그러고요.
또 그 자료는 다 기업들한테 또 보낼 거고 그렇게 약간 도발적인 그런 제가 행동을 하는게 되는데 그럼 그날은 그 영상을 다 녹화하셨다가 그 하루 이틀 지나서 금요일 날 유튜브로 다 그냥 올려 버리려고요.
그걸 PDF 파일로 해서 기업한테도 국내 기업한테만 보내고 예.
그래서 알겠습니다.
하겠습니다.
유튜브 올리시고 저희가 링크 찾으면 저희도 여기다 댓글 또 하나의 생각은 어 우리가 이런 로드맵이나 반도체 컴퓨터든 AI든 다 미국이 주도를 해요.
미국 기업들이 주도하고 우린 따라가서 어 부품을 제공하는데 거꾸로 우리가 먼저 제시를 하고 한번 주도해 보자라는 그런 외침도 여기에 또 담겨져 있습니다.
음.
아 되게 중요한 일이 벌어지고 있구나.
HBM이 그니까 계속 차세대라고 얘기하는 건 지금도 좋지만 여전히 뭔가 좀 문제가 여전히 있어.
네.
그 그 강의가 오늘 제 강의인데요.
오늘 뭐 이렇게 주거니 받거니 하면서 2두시간 슬라이드는 정해져 있는데 두 시간 하고 싶은데 지금 우리가 그 텍스트 위주로 생성하잖아요.
GPT든 가끔 사진 정도 하고 음 영화를 이제 한시간짜리 영화를 1분 만에 만들어 준다.
이렇게 해야 되면 그 학습해나 추론해야 되는 데이터이 한 1천000배는 늘어납니다.
영상으로 텍스트 중심이 아니고 영상 중심으로 하려면 중 그래서 미래 유튜브 동영상이 다 AI가 만든 영상으로 바뀐다라고 저는 가정하는 거예요.
예.
그러면 지금보다 성능이 HBM의 성능이 밴드위라 그러는데 대역폭 그게 1,000배는 높아져야 된다.
지금보다네 용량은 1천000배는 높아져야 된다.
결과물을 영상으로 보여 주기 위해서 그렇습니까? 아니면 학습하기 위해서 학습을 하기 위해서 1번 두 번째는 만들어내는 생성 과정에서 양쪽 다해야 되는 거 학습도 영상을 가지고 학습해야 되고 그렇습니다.
만들어 주는 답도 영상을 통해서 보여주네 우리가 워딩을 하나하나 단어를 만들어 낼 때 그 워딩 하나의 데이터는 뭐 10비트나 몇 10 뭐 그렇게 데이터가 크지 않습니다.
근데 USHTV 이미지 하나는 수백만 화소가 되거든요.
거기에 칼라 뭐 댑스 뭐 여러 가지 정보를 넣으면 엄청난 양의 그 이미지 한 장이 필요해요.
근데 그 1초에 60장을 만들어 내야 되거든요.
그러니까 그 데이터양이이 그 이거는 많은게 제 가설 속에 들어 있는 건데 그런 가설 속에서 저는 이렇게 제시를 하는 겁니다.
그 저도 예를 들면 야가 간 가안의 문제가 생기면 어떤 식으로 문제가 생기고 뭘 좀 하면 좋은지 알려줘라고 하면 지금은 텍스트로 나오지만 앞으로는네 잠깐만 기다리세요 한 다음에 짜잔 하고 영상이 나오면서 뭐 간해 줄 수 있겠죠.
네.
우리가 이런 토론하는 것도 사실은 카메라로 찍고 유튜브로 보내잖아요.
이거 다 AI가 만든다고.
가정하면 미래.
저는 제가 샘 알트만이라면 그거를 꿈꾸고 있다.
그렇게 생각해요.
스타게이트가 470조 뭐 이런.
그다음에 사우디아라비아 뭐 400조 이런데 그게 천조 시대로 갈 거라고 저는 보는 거예요.
음.
그럴 경우에 그렇게 영상으로 나오는 것이 충분히 돈을 낼 만한 부가 가치가 있을 거라고 본다는 거죠.
그렇게 만들 거라는 거죠.
그런 그런 속에서 광고 심고 뭐 수수료 내고 어떻게 해서 근데 그 비용이 저는 전화금과 의료 보험비 사이 그니까 의료 보험비보다 더 드는게 주택 비용이에요.
우리 삶에서 그런 거 같습니다.
근데 의료비가 꽤 차지해요.
보험료가.
아 근데 그 아래 뭐 옛날에는 우리가 뭐라 그러죠? 먹는 거 계수로 삶의 지을 평가를 했잖.
예.
요즘 그런 얘기 안 하잖아요.
오히려 전압이나 인터넷 비용인데 그거와 의료비 사이 정도로 전 세계 사람들이 돈을 내면 제가 언제 연필로 계산해 봤어요.
그랬더니 뭐 1천조는 뭐 1년에 100조는 내겠다.
자를 뽑고도 남을 거다.
예.
그렇게 가정하고 지금 세마르트만이나 미국과 중국이 일을 버리고 있는 것이다.
이렇게 저는 가정하고 HBM이 그러면 대역폭이 천배는 돼야 될 것이다.
그렇게 근데 제가이 1996년에 반도체 회사에서 이제 D램 설계를 했는데 예.
어 그때 인터넷이 탁 시작할 때였어요.
음.
네스케이프가 등장하는 익스플로도 나오기 전인데 깜짝 놀랬죠.
어떻게 이렇게 신기한게 있지? 예.
예.
그래서 그때 어 메모리 수요가 많이 증가하겠는데 이랬거든요.
왜요? 왜어 인터넷이 데이터가 돌아다니고 나한테 와야 되니까 인터넷 어딘가는 저장했다가 보내야 되거든요.
예.
그 그게 이제 중계소라고 볼 수도 있고 뭐 어 KT나 SK 텔레콤 같은 회사 데이터 센터 뭐 이런게 그런 비즈니스 아니겠어요? 네.
어, 근데 96년에 비하면 지금 메모리 수요가 1천000배는 됐을 거요.
음.
그럼요.
예.
그 특히 모바일이 되고 인터넷 시대가 되고 유튜브가 되면서 급속하게 늘어서 그런 과정의 학습 결과로 제가 미래를 예측해 봤을 때 예.
그렇게 그래서 저희는 이제 계속 학생들하고 그러면 그렇게 대역폭을 높이고 그러니까 생성과 학습을 빨리 줄이려면 GPU HBM 구조가 어떻게 되느냐만 연구하고 하루 종일 연구하고 있으니까 저희 머릿속에 담긴 거를 혼자 놓기에는 너무 아깝고 있습니다.
알겠습니다.
자료를 많이 준비해 오시니까 자료도 보면서 예 설명을 좀 들어볼까요? 그래서 시청자 여러분께 미리 양해를 드리면 우리 그 카이스타 학부생들한테 하는 세미나 정도를 이렇게 준비를 했습니다.
그래서 조금 낯설 수 있는데 미리 양해해 드리고요.
근데 두 분 어 기자님께서 중간중간에 막 질문 들어오시면 시청자 여러분께 도움이 될 것 같습니다.
먼저 HBM은 어떤 도전을 갖고 있나 한번 얘기해 보겠습니다.
현재 도전이 뭐냐? 어 예.
요게 이제 제가 학생들하고 한화 야구장관 사진을 지브리로 만든 겁니다.
그런데 요게 작년에 외아에 갔을 때데 최근에 야구장이 바뀌어서 훨씬 좋은 대로 바뀌었는데요.
그때네.
그때는 저희가 졌습니다.
근데 요즘은 한화 야구가 계속 이기고 있는데 그래서 어 재밌죠.
이게 지불이라는 걸로.
그래서 아마 어 최치T 이쪽 가입자수가 많이 늘었다 그러죠.
그죠? 많이 늘었다고 들었습니다.
요즘 약간 인기는 줄었지만 한 때 우리 가족 사진 뭐 다 한 번씩 바꿔 봤습니다.
음.
그때 이제 제가 TV 화면을 캡처한 건데요.
허락받지 않은 한데 뭐 나쁜 뜻은 아니러고요 캡처를 했는데 세마 알트만이 뭐라 그랬냐면 GPT GPU가 녹아내리고 있다.
10만 개의 GPU를 확보할 수 있다면 최대한 연락해 달라 이렇게 했어요.
어 여기 중에 맞는 사실은 어 많은 가입자수한테 지불이 그려 주려면 GPU가 많아야 된다.
이 뜻이 되겠습니다.
그리고 또 맞는 사실은 GPU의 온도가 높아진다.
이 내용 맞겠습니다.
그런데 더 정확한 표현은 세말트만이 모르는 거는 사실이 과정에서 GPU는 대부분 시간 놀고 있고 HBM이 더 빠르게 더 바쁘게 지내고 있습니다.
아, HBM 때문에 더 못 하고 있는 거예요? 네, 그렇습니다.
GPU에 비해서 HBM이 현재는 훨씬 성능이 떨어지나 보죠.
그렇습니다.
경목이 거기서 발생.
머리는 본질적으로 많은 데이터를 넣기 위해서 예.
어 전자를 이렇게 가두어 두는데 전자 천개 가두어 두면 1이고 없으면 0인데 천개를 인간이 인식할 수가 없어요.
그러니까 그걸 증폭해서 인간은 1볼트 정도 돼야 손에 찌하거나 눈에 글 숫자가 보이거나 사운드가 나오거나 이러는 거예요.
네.
증폭하는 시간이 걸려요.
증폭.
예.
음전자개 정도 뭐 마이크로볼트를 볼트 100만 배를 이렇게 키워주는 작업이 필요해요.
음.
그걸 누가 해요? 디램이 하는 거죠.
아, 그걸 디거.
그래서 디램은 본질적으로 늦을 수밖에 없어요.
어.
그럼 더 빠른 메모리는 없냐? 이러면 오늘 하루 종일 이제 반도체 강의가 되는데 S램이라고 있는데 너무 비싸요.
음.
그래서 현재 가장 경제적인 메모리가 D램인데 네.
GPU 안에다가 메모리 두면 되잖아요.
근데 못도 그니까 면적이 없어요.
하도 계산 메모리를 둘 면적이 없어요.
그래서 바깥에 둘 수밖에 없어요.
예.
그게 디램인 거예요.
음.
네.
어 그런데 거기를 읽어 와야 계산하 행렬 계산인데 계산하고 보내주고 이거를 일초에 천만씩 천만 번씩 해야 학습이 되고 그림 한 장을 그려내는데 계속 그 이게 무슨 모델이라 그러냐면 트랜스포머 모델이라 그래요.
GPT의 그 티예요.
예.
지금의 생성 인공지능은 다 본질적으로 데이터를 읽어서 어 계산하고 다시 저장하고를 반복하다 보면 희미한 그림이 아까 저희 실험실 야구장처럼 이렇게 선명한 인간이 이해하는 의미 있는 그림으로 나오는 거예요.
인간이 못 이해하는 의미 있는 그림인 거예요.
예.
이 이 의미 뭐 이렇게 말하면 그게 다 행렬 계산이고 최종적으로 거기 이제 확률 함수가 들어가서 확률적으로 가장 인간이 좋아하는 글자나 그림을 이제 찍어 화소를 찍어내는 거예요.
음.
그래서이 세마트만이 틀린 거가 제가 1번은 녹아내리는 건 GPU지만 진짜 바쁜 거는 HBM이다.
음.
음.
그래서 더 미래에서 정확하게 하려면 HBM 천만대 없어요.
전화주세요.
이래야 정상인데 더 정확한 단어다.
아, 저는 그렇게 보는 거죠.
근데 세마르트만이 거기까지는 모르는구나.
아직 빈틈이 있구나.
이럴 때 우리가 내달려야 된다는게 제 주장입니다.
그럼 HBM이 양이 많아지면 말씀하신 문제를 해결할 수 있습니까? 양이 많고 대역 폭이 높고 어 자동차가 많다고 소용했는게 아니라 자동차도 많고 빨리 달리고 아 폭도 커져야 차선도 커져야 되고 식당이 정신없이 바쁠 때는 주방이 바쁠 수도 있고 서빙이 바쁠 때가 있는데 병목이 어디 지금은 그 나르는 서빙이 바쁘다 아르바이트생이 안 와 가지고 어 주방장이 놀고 있다.
그런데 지금 쌤 알지만은 주방장 구합니다.
이런 또 또는 주방장이 그 고기가 다 떨어졌는데 정육점에서 배달이 안 오는 상태.
그래서 땀 흘리는 거는 주방장이지만 원인은 딴데 있다.
이게 이제 아, 그렇구나.
그리고 하려면 주방으로 드나드는 복도도 넓어야 되는데 이게 좁으면 좁으니까 음식 하나 들어갔다가 줄 한 줄 한 줄 빠져나오려니까 계속 정복이죠.
그 얘기.
그렇습니다.
그렇습니다.
그니까 지금은 그 HBM도 왜 기존 거보다 뭘 고속도로처 뭘 왔다 갔다 하는 통로를 넓힌 반도체라면서요? 그렇습니다.
그 넓히는게 매 제너레이션 두 배씩 늘어가야 된다는게 제 주장인 거예요.
아, 그니까 예, 그니까 차선이과 속도와 용량과 아, 그게 제가 주장하는 10년 20년의 방법이에요.
음.
그러니까 이걸 폰 노이만 구조라 그러는데 계산하는 것과 메모리가 분리돼 있는 현재의 컴퓨터 구조상에서는 그럴 수밖에 없다라는게 제 주장이고 그걸 깨보고 싶어 하는 컴퓨터가 양자 컴퓨터가 되는 거예요.
그러면 또 양자 컴퓨터 얘기가 또 길어지는데 오늘은 그것까지 안 하더라도 그런 이제 고민이 있는 거예요.
메모리와 계산하는 중간에 왔다 갔다.
예.
그다음에 후반에 말씀드리겠지만 열이 많이 나는 걸 어떻게 낸가? 그 빨리빨리 보내다 보면 열이 많이 나는 거예요.
전력 소모가 많아지고 그럼 원자력 발전소 세워야 되고 또 냉각이 핵심 기술이 되는 거죠.
음 앞으로 15년 20년을 어 반도체의 메인주다.
그동안은 어떻게든 밀도를 높여서 같은 웨이퍼에 더 많은 반도체를 만들어서 수유를 높이고 어 경제성을 높이냐데 이젠 그건 거의 한 개에 왔고 아 그래 봐야 병목이 다른 데서 생기니까 그러니까 거기서는 물리 법칙상 양자역적 법칙상 극복하기 어려운 점이 좀 있어요.
그 원자 구조로 가면 불확실성 이론 때문에 뭐 1과 0이 막 섞여져 있는 그 그런 어려운 문제가 있어요.
그러니까 많은 투자해도 잘 발전이 없고 그런데 또 다른 문제는 어 AI 시대가 등장하면서 어 이렇게에 이제 병목 현상이 메인이 된다.
그다음에 이제 HBM에 얼마나 많은 메모리를 거기다가 집어넣을 것이냐.
예, 이게 궁금한게 제가 잘 괜찮으시겠지? 지금 슬라이드가 40흔 장인데 두 장째인데 하나만 딱 붙어요.
좀 보고 싶으니까 저는 괜찮습니다.
오늘 내려가기 메모리와 그 계산하는 디램을 왔다 갔다 하는 건 모든 제품이 다 그렇잖아요.
현재 실리콘 반도체는 네.
다 그런 다 그 방식인데 특히 AI가 많이 왔다 갔다 해야 되는 겁니다.
그게 아까 말씀드린 거 생성 인공진의 모델이 행렬 계산에 집중적이기 때문에 그렇습니다.
음.
음.
두 번째로 행렬 계산이 많은게 그래픽 카드예요.
그래서 엔비디아가 그래픽 카드에서부터 출발해서이 오늘의 결과를 낳았던 수학이 같기 때문에.
음.
근데 그래픽 카드보다 제가 어 2010년 경에 그래픽 카드에 필요한데 밴드위 대역폭이 얼마냐 그랬을 때 테라바 밴드위거든.
그래서 이제 HBM1이 나온 건데 그거보다 천배가 높아지는 거는 그래픽 카보다 AI 때문이다.
해결이 안 된다.
계산은 단순하지만 네.
워낙 많이 왔다 갔다 해야 되니까.
그렇습니다.
알겠습니다.
진소를 나가보죠.
그래서 제가 주장하는 거는 어 지금 우리가 텍스트와 사운드 이게 이제 인간이 언어를 인식하는 건데 그걸 통해서 인간과 교류하고 인간을 대신하는 건데 그보다 더 중요한 인간의 기구가 눈이에요.
눈은 뇌의 일부가 튀어나온 거래요.
그니까 정보량이 훨씬 많고 어 인간이 빠른 속도로 정보를 흡수하는 거예요.
그래서 지금은 유튜브를 통해서 우리가 정보를 흡수하고 지배 의식의 지배를 받지만 미래에는 유튜브가 다 AI로 맞는 것 될 것이다.
그러면 AI에 우리가 인식의 지배를 받을 것이다.
그리고 여기에 숨어 있는 광고에 의해서 돈도 쓰고 돈도 벌고 그렇게 될 것이다.
이런 거고요.
그래서 제가 주장하는 큰 포인트 중에 하나는 제가 틀릴 수도 있겠습니다.
미래.
음.
근 제가 주장하는 거의 기반은 이렇게 영화까지 만들어내는 생성 인공지능이 되려면 모델 사이즈가 커질 수밖에 없다.
음.
그러면 에이전트라고 해서 뭐 AI가 서비스 해도 에이전트도 커지고 저기서 배치라고 하는 요거는 이제 사용자 그러면 당연히 GPU HBM이 커지고 HBM 밴드위 그다음에 HBM의 스택 그다음에 두 개를 연결하는 차선 그다음에 메모리 용량 어 전력 소모 비용이 다 커질 수밖에 없다.
그래서 이제 딥시크가 나왔을 때 많은 분들이이 곡선이 꺾일 수 있다.
이렇게 생각을 했어요.
디스틸레이션이나 여러 가지 방법으로 소용화될 수 있다.
그런데 저는 이게 오히려 계속할 것이다라고 주장하는 편이고 어 거기에 맞춰서 오늘 여러분들께 말씀을 드립니다.
그래서 조금 전에 말씀하신 거 이게 GPU도 마찬가지인데 어 현재의 컴퓨터는 어 그 어 진공간으로 출발한 계산 장치하고 우리 마그네틱 테이프 CD, DVD SSD로 해서 디램으로 온 메모리는 서로 생산 방식 인프라 어 구조가 달라요.
그래서 이게 같이 합치는 일은 잘 없을 것이다.
그럴 경우는 영원히 남는 문제가 지어하고 메모리 사이에 데이터 어 저기서 버스라고 하는데요.
어 여기가 결국은 바틀렉이 될 것이다라는게 이제 제 주장이고 예 요거는 이제 컴퓨터 아키텍처 그림인데요.
요 y축은 테라플롭스/세 이렇게 돼 있지만 뭐냐면 여러분들 GPT 써 보면 최pt에 질문을 하면 답이 나오잖아요.
단어가 튀어 하나하나씩 튀어나와요.
기자님 1초에 한 몇 개쯤 나오는 거 같습니까? 단어가 예럭탁 한 20 20 20개 그러면은 뭐 그니까 1초에 20개 정도 나오는 거죠.
저는 1초에 1천개는 나와야 쫙 한꺼번에 페이지를 쓴다고 보는 거예요.
그러니까 지금보다 지금도 느린 거죠.
그게 그 H100에 GP하고 HBM이 느려서 그런 거예요.
지금 나오는게 보이잖아요.
쓰는 게 그게대 그 만약에 GPU하고 HBM 사이에 데이터를 천번 보내야 된다면 그 시간이 걸려서 그런 거야.
근데 어떻게 연기하냐면 마치 자기네가 생각하는 것처럼 이렇게 연기를 하는 거예요.
연기 자식들.
그런데 그게 이제 이미지가 되면 버벅거리면 짜증나는 거죠.
그래서 그 서비스 경쟁이 거기서 일어난다고 보는 거예.
동시에 몇 명을한테 서비스하는데 얼마나 빨리 좋은 정보를 탁탁탁 이렇게 보고서도 써 주고 검색도 해 주고 말도 해 주고 지금은 신기해서 그런데 이제 나중에 기업간 경쟁은 거기서 벌어진다고 저는 보는 거예요.
그런데 y축이 그겁니다.
얼마나 빨리 많은 데이터나 그걸 토큰이라 생성해 주느냐.
y는 얼마나 행렬 계산을 많이 하냐데 그 아까 트랜스포머 모델인 지금 생성 모델은 한 10쯤 됩니다.
그러면 여기는 뭐냐면 GP와 HBM의 밴드위에 의해서 결정이 된다.
이 이게 학술적인 그래프입니다.
만약에 어떤 영역 가서요 오른쪽 영역 가면 이때는 GPU의 용량을 키워야 돼요.
그거를 컴퓨팅 바운드라 그래요.
아.
어, 지금은 HBM 밴 어, GPO HBM 밴드위 바운드다.
어디서 병목 생기는지.
지금은 조기가 더 필요한 상황이고.
예.
요건 좀 그 학술적으로 그렸는데 이거를 이제 제가 어 아 아마존이나 마이크로소프트나이 데이터 AI서 서비스를 그러면 이거를 실시간으로 모니터링해서 항상 그래프를 그리고 있을 것 같아요.
음.
어 그 운영하는 어 애전하의 데이터 센터 AI 서비스 운영자라고 하면 음 아마 지금 여기 좀 와 있을 것 같습니다.
그래서 계속 어 샘 어 젠슨 왕한테 어 성능 두 배씩 높여라고 하는 거는요 커브고요 커브가 결국은 앞으로 10년에서 20년 반도체 산업의 방향을 결정한다라는게 이제 제 주장입니다.
예.
그래, 이런 배경에서 우리가 이건 HBM1 그림인데요.
어, 2010년 경에 우리 학생들하고 그 학생 석사 받으면서 그린 그림인데 지금까지 거의 변화한게 없죠.
예.
그런데 하나는 이제 프로세서 GP와 메모리 사이에 밴드위스를 높이기 위해서요 두 개 사이을 1024로 한 거예요.
파격적이죠.
그 보통 디램은 뭐 32개 뭐 16개 이런데 파격적으로 느린 거고 그 메모리 용량이 커야 딴 데서 데이터를 안 갖고 오고 바로 옆에서 갖고 오니까 메모리 용량을 키우기 위해서 쌓았고 위아래로 데이터 엘리베이터를 설치하기 위해서 이제 TSV가 설치됐고 그다음에 디램과 GPU 사이에 데이터를 주고받는 교통 정리를 하는 로직 다이가 있고 그다음에 이거를 연결하는 기판 판을 실리콘을 쓴 거예요.
근데 그때 당시에 이렇게 기판의 비싼 실리콘을 쓰냐고 했을 때 이대로 간 이유는 1024개 라인을 그려면 기존에 기판이 안 돼요.
공정 실력이 아 실리콘은 나노미터까지 되니까 공정이 되고 두 번째는 실리콘이 열을 잘 방출해요.
예.
실리콘 속에는 전자가 숨어져 있거든요.
반도체라 그래서 반은 전 도체예요.
그 전자가 있어요.
음.
그다음에 플러스 GPU가 온도를 받으면 열을 팽창을 하는데 팽창 계수가 있잖아요.
기판하고 같아요.
아, 그러니까 잘 찌그러지지 않는 휘어지지 않는 거죠.
네.
근데 이거 비싸단 말이죠.
기존의 컴퓨터에 비해서.
그래도 이걸 쓰려고 했던게 Nv디아는 그래픽 카드에 고성능을 하려고 했던 거고 나중에 빚을 본 거는 AI가 되면서 어 AI 시대가 오면서 아무리 돈이 비싸도 성능이 나와야 되니까 이거를 이제 쓰기 시작했던 겁니다.
어 자 그래서 그 당시에 제가 서울과 대전을 많이 왔다 갔다 하면서 보니까 분당이 이렇게 주상복합 건물을 이렇게 짓더라고요.
예.
어 그래서 이게 주상복 건물하고 비슷하다 이렇게 생각을 했습니다.
네.
가운 가운데 있고 왔다 갔다 하고 예.
그리고요 베이스 다이라고 하 로직 다이인데 얘와 얘 사이를 왔다 갔다 하는데 걔가 인천공항 터미널하고 전 갔다고 보는 거예요.
기능이 GPU하고 왔다 갔다 비행기 항로라고 치면 버스 타고 와서 여기 줄 지어서 정확하게 게이트 찾아가고 짐 씻고 또 배고프면 물 밥도 사 먹고 어 환전도 하고 뭔가 여러 가지 규칙적으로 착착해야 되잖아요.
공항이 잘 운영 안 되면 대기 시간이 엄청 길잖아요.
비행기의 안전도도 떨어지고 요런 기능한게요 로직 여러분도 이해를 돕기 위해서 어 비행기이 활주로가 GPU하고 HBM 그 1024개고 거기에 비행기가 순서대로 이렇게 출발하고 여기 주차장이 있는게 이게 HBM이다 뭐 이렇게에 상상을 해서 사진을 녹았습니다.
네.
자, 그런데 설계상에서 그럼 뭐 만들면 되는 거 아니냐라는 거 있는데 몇 가지 어려운 점이 있는데 하나는 지표를 이렇게 쌓으면 엘리베이터를 타야 되잖아요.
또는 고속도로를 달리면 승객이 어지러우면 안 돼요.
톤하면 안 되잖아요.
너무 빠르면 어지러울 수도 있어요.
그럼 바퀴가 터지잖아요.
엘리베이터 옛날에는 타면은 고속 타면 좀 어 이거 올라가네 이런데 요즘은 올라가는지도 모르게 뭐 100층까지도 가잖아요.
그게 실력인 것처럼 데이터 통로가 조하게 아주 안락하게 경치도 보면서 가느냐.
예.
어.
고속도로 달리는데 3 400km 달려도 밖에 안 터지고 어 비와 비와 눈이 와도 사고 안 나게 가는게 필요하잖아요.
그런 기술을 사진으로 찍은게요 화면에 요겁니다.
야 뭐예요? 빨간 건 뭐고? 예.
이게 어 아이디얼하게 보면 디지털이니까 0과 1이 왔다 갔다 해야 되는데 실제로 보면 0과 1이 애매하게 막 지나가고 노이즈가 이렇게 낍니다.
음.
음.
이게 깨끗할수록 데이터를 잘 보내는 거예요.
색깔이 같아야 되는데.
요 파란색 다이아몬드가 활짝 열려야 돼요.
아, 그러면 1과 0이 잘 구분되는데 노이즈가 많고 막 온갖 잡음이 들리고 어지럽고 하면 과이 막 헷갈리는 상태가 돼요.
예.
그러면 상대방이 짜증을 내고 다시 보내라 이렇게 되고.
네.
어, 이런게 왜 생기냐면 엘리 엘리베이터를 설계 잘해서도 그렇지만 건물에 지진이 나도 흔들리지 않아야 되는 거예요.
그다음에 열을 엿 동네 열을 받는데 아파트 잘못 설계하면 1층은 뜨듯한데 맨층은 냉방일 수 있잖아요.
예.
수돗물이 아, 1층은 콸콸 나오는데 100층은 쫄쫄 나올 수 있잖아요.
그런 현상이 이런 걸로 막 다 섞여 나오는 거.
아, 그니까 총체적인 설계가 잘돼야이 속도가 나오고 이게 밴드위스를 결정하는 거예요.
음.
요 사진에서 보인 거는 고속도로 한 차선의 퀄리티를 우리가 공학적으로 이렇게 표현한 거고요.
야, 이걸 측정하기도 어렵고 그냥 컴퓨터 시뮬레이션으로 하는데 저희 학생들은 평생 이런 것만 보고 있습니다.
예.
근데 이제 저희가 하는 거는 지진이 나도 잘되고 옆에 지후에 불이 나도 잘하고 어 뭐 물이 끊어져도 잘하고 비상 사태가 없어도 잘하고 어 뭐 파이프에 녹이스러도 잘하고 그런 이제 그게 이제 공학적인 기술인데 이런게 한 차선을 요렇게 보여 준 거거든 1024선 미래에 몇만 차선이 다 이렇게 해야 되니까 극도의 공학적인 기술이 이제 필요한 거죠.
하나하나로 보면 또 잘할 수도 있지만 모든 차선이 다양한 조건에서 어 우리도 그렇잖아요.
평소 때 잘 살지만 홍수 한 번 나면 우리 실력이 다 드러나잖아요.
얼마나 우리 인프라가 잘 돼 있는지.
우리가 얼마나 안전에 예.
얼마 전에 제가 알기로 어 지하철에 화제가 났는데 잘 진압했잖아요.
그죠? 음.
몇십년 전에는 엄청난 사과였는데 그게 우리 발전인 거잖아요.
거기 보면 내장재를 전부 화제 안 붙는 걸로 하고 또 승객들도 그 소화기 끄는 거 그다음에 정차 세우고 터널로 가.
어 결국은 그게 실력이 되거든요.
여기서도 비유적으로 말씀드리면 그렇습니다.
네.
그다음에 이제 요게 이제 컴퓨터 시뮬레이션 한 건데 요게 GPU가 엄청 뜨겁고 요게 HBM인데 이건 온도인가 보네요.
온도 온도 분포인데 GPU가 뜨거우면 이게 또 앞으로 전달이 돼요.
그러면 메모리는 우리 전자가 몇 개도 아닌데 이렇게 세요.
온도를 높이면 아 튀어가 나가서 그러면 이거 전자 세는 것 때문에 물을 다 전자를 다시 채워둬야 되는 그 디램에 또 성능이 확 떨어지는 거죠.
아, 같은 HBM이라도 뭐 제 가정입니다.
이런 거에서 확확 차이 나 버리면은 열이 나느냐 안 나느냐 따라서 잡아.
열이 어떻게 전달되느냐.
음.
어떻게 쿨링하느냐 이렇게 하면은 어, 똑같이 했는데 어, 잘 동작했는데 왜 이러지? 근데 옆 일반적인 우리 노 핸드폰은 30도 정도 되잖아요.
뜨거워 봐야 여기는 GPU가 막 100도 200도 끌어오르는데 옆에서 있을 때도 잘해야 되는 거예요.
그러니까 전통적인 메모리 실력보다 한 층 더 높아야 돼.
알고 보면 별거 아니지만 패러다임이 바뀌면서 이런게 있겠습니다.
메모리가 뜨거워지면 전자가 새예요.
세 나간다.
리퀴지라고 우리는 표현합니다.
우리가 이제 디램은 전자를 바구니에 이렇게 가둬서 전자가 채워져 있으면 1이고 0인데 예예.
예.
어 열이 높다는 거는 서로 부딪친다는 거거든요.
음.
그렇죠.
열이 높죠.
예.
고체도 원자들 원자들끼 서로 활발하게 움직이니까 그러니까 전자들끼리 부드리치다 보면 튀어나가는 거 튀어 나갈 수 있는 거죠.
아 그러니까 우리 온도라는 거는 우리 가오시안 분포라고 혹시 정규 분포란 말 들어보셨나요? 예.
어이고 고등학교 때 아 죄송합니다.
우리 학생들하고 하듯이 제가 미안합니다.
시청자 여러분 하여튼 제가 학생들하고 하듯이 그런 거 있습니다.
가운데 가운데 가운데 점이 이제 30도라는 거예요.
그렇지만 100도 200도 되는 전자들도 있고 영화 몇백도 이렇게 분포돼 있는 그 센터 지점이 30도라는 건데 이게 몇도 올라가면 그만큼 높은 전자의 개수가 많아지니까 잘 세죠.
옆으로 튀어나간다.
물 끓면 막 밖으로 튀어나가듯이 밖으로 세어나듯.
그다음에 거기 이제 속꼭지처럼 채워진 트랜지스터가 있는데 거기도 온도가 높아지면 꼭지로 또 물이 세요.
음.
그래서 오류가 난다는 거.
온도를 절대적으로 온도가 낮을수록 좋습니다.
네.
정확한 계산제니까.
음.
네.
그러니까 예측 불어의 변수가 적으니까 온도 온도 온도도 문제야 되고.
예.
제 계속 얘기 드리는 거는 이게 계속 심화된다는 거예요.
제가 드리는 현상이 이게 HBM1투쓰 현재도 이런 문제들이 제품의 퀄리티를 자우하는데 대역폭 어 뭐 열 문제 신뢰성 문제 노이즈 문제 이게 천배가 높아진다라면은 거기서 승부가 어쩔 수 없이 젠슨 황이 무릎 꿇고 와서 삼성전자나 SK에 와서 지금 젠슨 황이 우리나라는 안 왔잖아요.
그죠? 어, 대만 가서 컴월드에서 뭐 대만을 AI 뭐 나라로 만들자 이러고 우리를 찾아오게 하려면 여기에 있다라는게 제 주장이죠.
그러니까 제 주장은 틀릴 수도 있고 밀릴 수도 있지만은 어 그런 가서를 여러분들 그니까 엘리베이터도 같은 것도 잘 가야 되고 열도 잘 잡아야 되고 그런데 전기 끊어져도 배터리로 운영돼서 안전하게 딱 어느 가서 문이 열려야죠.
그죠? 예.
그다음에 비상 버튼 누르면 경비라고도 연락이 돼야 되잖아요.
어, 그렇죠.
그러 그런게 중요하죠.
그 그런게 지금 다 업그레이드 돼야 된다는 뜻이에요.
그렇습니다.
각각마다 전부 다 데이터 밴드비스가 높아질수록 그런 마진이 그 우리가 마진이라 그러는데요.
여유가 줄어드는 거예요.
음.
음.
음.
음.
그런 거를 그 속도가 느릴 때는 그니까 밴드비스가 속도 곱하기 라인의 개수인데 속도가 느릴 때는 조금 실수가 있어도 기다려 줄 수가 있었어요.
예.
지금은 그렇지 않을 거다.
더 심화될 거다.
이 업계에서는 뭔가 근본적으로 패러다 이게 표현하고 나면 별게 아닌데 패러다임이 바뀌어 버리는 네.
그 필요한 기술자의 종류도 달라지고 점식도 달라지고 그러니까 지금은 반도체 기업에 제일 필요한 사람이 어 저는 열 열 열 철계하는 사람이라고 보는 거예요.
열 열을 잡을 열을 냉각을 어떻게 시키고 그런데 그건 기계 공학을 해야 되는데 반도체를 동시에 알 수가 없잖아요.
그렇죠? 그러니까 몸값이 높고 사람이 잘 없어요.
둘 다 하는 사람은 둘 다 사람은 거의 없다고 뭐 그러면 삼성이든 하이닉슨 최고 기술자들이 다시 박사하게 한번 하라는 거죠.
저는 아 그제 그런 문화도 필요하고 그러면 예 그분들이 근데 기회공학을 다시 하러 왔을 때 자기 자리 없어질까 걱정하고 뭐 이럴 수 있는데 이게 양면 양날의 칼이 되는 거죠.
기존의 패다임이 바니까 이게 기존 기업의 위기로 다가올 수도 있고 근데 확 바뀌어야 된다는게 제주 근데 이제 거듭 말씀드리지만 제 주장인 거죠.
제주장이 틀릴 수도 있는데 저는 몇 개의 가설 하에 이렇게 주장을 하고 있 있는 겁니다예.
그 이게 그 HBM이 1천000개가 늘어나는게 아니고 데이터가 1천000배가 늘어나면 용량도 1천000배가 늘어나 거기에 대응할 만한 HM은 만들어야 되니까.
그렇습니다.
그 근데 대응한다는 게 선배 능력이 좋아져야 되는 거네요.
예.
그런 대응한다는게 결국 천배가 되려면 속도도 높아지고 열도 많이 나고 용량도 돼야 되니까 그런 것들이 종합적으로 어 대비가 돼야 되는데 우리가 TSMC에서 파운드리를 뺏서 오는 방법도 지금 전쟁에서는 뒤집기가 쉽지 않아요.
어 뭐 그렇지 않아요.
여러 가지 이유 때문에 그걸 뒤집으려면 여기서도 또 하나의 방 어 우리가 실마리가 있다.
저는 그 게임의 룰이 파운더리의 어떤 몇 나노 공정을 하느냐 그 게임에서 언젠가 멈춰질 때 아 게임은 일러 넘어간다.
이렇게 저는 이제 주장을 하는 거죠.
그 쿨링이 지금은 어떤 방식으로 되어 있요 슬라이드 한번 보면서 말씀드릴까요? 지금 뭐가 문 어떤 문제가 있나고? 예.
음, 이게 x축은 뭐냐면 어트수예요.
쉽게 얘기하면 왼쪽으로 갈수록 1W고 HBM이 1W 1kw 되면요 중간쯤 와 있는 거고 아 HPU가 H 미래에는 여기 와 있는데 그러면 온도가 어 와트수가 줄어들면이 온도가 줄어든다이 얘기 되는 겁니다.
와트가 낮아지면 온도도 낮아진다.
그죠? 어 그런데가 현재는 어떻게 하냐면 펜을 틀어서 에어 쿨링하는 방식이 있는데이 온도보다 낮춰야 되잖아요.
왜냐면 온도 지금 와트 수가 늘어난다니까 더 높아지잖아요.
이걸 끌어내리려면 물로 쿨링을 해야 된다라는 게 근데 요기가 그렇습니다.
그래서 여기는 이제 히 파이프 쓴다고 우리 노트북에서 쓰는 건데요 밑으로 내려오면 GPU 위로 물을 통과시켜야 된다는 게데 그게 HBM3나 4는 현재 물을 통과시킵니다.
현재는 물을 예.
공기보다 물이 어 열중이 커서 그런지 잘 열이 전달할 때 빠져나갑니다.
예.
그리고 그다음 HBM 5나 6부터는 이머전 쿨링이라 그래서 지표 HBM 컴퓨터 자체를 그냥 냉각수에 집어넣어 버리는 거예요.
어.
어.
그러니까 그래도 괜찮아요.
그렇게 해야 된다는 거죠.
방법밖에 없고.
그러니까는 냉각수가 일반물이 아니라 전기가 안 흘러야 되고 또 새도 어디 화학적으로 오염이 안 되고 인간이 뭐 어떻게 잘못해서 만져도 독성이 없고 굉장히 어려운 저거죠.
그러면 데이터 센터 전체를 물통에 집어넣어야 되니까 야 와 그러니까 어 예 컴퓨터 그런 물이 있어요.
쿨링이 제일 중요한 날이 우리 자동차도 냉각수가 돌지 않나요? 예 그렇죠.
엔진을 시켜야 되니까.
그리고 반도체 반대쪽의 물은 공기로 팬에서 시켜서 안 그러면 엔진 그냥 녹아 버릴 거려.
예.
예.
일종에 거기도 순환씩 순행 방식이 근데가 오토바이는 물 안 쓰고 그냥 표면에서 공기하고 접촉해서 하도록 이렇게 주름이 져 있잖아요.
그게 표면적이 또 넓을수록 열을 잘 빼요.
음.
음열 근데 HBM 6나 7이 되면 반도체 안으로 물을 통과시켜야 된다는게 제 추장 반조체 안으로요? 이게 담그는 것도 아니고 안으로 안 된다는 거죠.
제 판단은.
그러니까 이게 엄청난 어려운 기술이 될 텐데.
아니 그것도 너무 작게 해서 더 이상 줄일데도 없다면서요.
안 그 깊판 밑으로.
그러니까 근데 거기다가 어 저 뭐야 파이프를 만들었는데 작은 데다가 물을 통과시키려면 엄청난 수합이 또 필요해요.
와 교수님 이게 당연히 진행되고 있을 것 같긴 한데 열이 발생하는 이유가 전류가 흐를 때 저항이 있어서 그런 거잖아요.
음 뭐 그렇게 설명해도 된다.
원천적인 건 따로 있지만 그렇게 설명하셔도 됩니다.
그렇죠.
그러니까 아예 그럼 전류가 흐르는 도로 자체를 저항이 안 나게 열이 안 나게 그니까 불리가 아니라 어 다른 걸 쓰자는 그래서 이제 초전도 물질을 쓰자고 어떤 분이 국내에서 엄청난 기술 개본 분이 찾아왔어요.
그래서 그 그분께 몇 개의 조건을 말씀드렸어요.
어 패키징에 쓰려면 어떻게 해야 된다.
근데 조금 더 개발 시간이 필요한 거 같아요.
초전도가 이제 그런 특이 있죠.
어, 근데 이제 초전 물질을 만드는 공정하고이 반도체 공정하고 서로 컴패터블 해야 되는 거예요.
공존 공 병립이 하나는 6,000도에서 만들고 하나는 1,000도에서 만들면 녹아버려서 안 되.
예를 들면 제가 그래서 그 영업 M 맥한 얘기라 말씀은 못 드리고 그런데 기자님 질문이 굉장히 좋은 질문인게 이과 가셨어도 수학 잘하셨을 것 같아.
이과 이과 공대공 근데 손에 잡히는 경제를 하 아 수학 잘해서 경제학과 가셨나요? 아닙니다.
쓸모없이 공대를 나온 네.
성공은 무슨 전공? 제 재료 공학했습니다.
네.
아, 질문이 날카로 근데 하여튼 지금은 저항보다는 아까 제가 어 반도체가 1이라는 건 전자가 채워진 상태라 그랬잖아요.
0은 전자를 버린 상태예요.
음.
채워진 전자가 버려질 때 그게 열로 바뀝니다.
음.
그러니까 합선이 일어나는 거.
스파크가 일어나서 그라운드로 접지로 뺀다 그러는데 스파크가 일어나는 거예요.
우리 어 자동 겨울에 자동차가 옷에 정전기 있으면 스파크 팍 튀잖아요.
그게 지표 하나의 개가 동시에 일억 개가 동시에 스파크가 일으킨다고 보면 돼.
근데 그것도 뭐 1초에 조단위로 그러니까 안 안 녹는게 다행인 거죠.
그러면 그렇게 꼭 왜 1과 0으로 해서 계산하냐? 아닌 다른 방식이 없냐 하는데 그게 이제 양자고 그게 양자 컴퓨터고 음 와 열이 진짜 문제 모양이네요 열이 예 그런데 이런게 있습니다.
아무리 진실을 얘기해도 듣는 사람은 듣고 안 듣는 사람은 안 듣고 우리 어 유치원 다닐 때 친구랑 싸우지 말자 욕하지 말자 정직하자 다 배우잖아요.
어, 배워도 또 뭐 듣는 사람 듣고 안 듣는 사람들 듣고 그런 것처럼 어, 뭐 진실이 새로운게 아니고 어, 듣는 귀가 그 진실을 결정하는 거 같습니다.
음.
음.
그래서 그네 가지 방식을 다시 말씀드리면 어 펜을 돌리거나 물을 통과시키거나 지금 HBM 34가 요런 상태입니다.
그래서 꼭 그 위에서 G HBM 어 GPU 보드 보면 물이프가 연결이 돼 있습니다.
저게 하이닉스도 쓰는 방식이에요.
하이닉스가 하지 않고요 체결은 TSMC 하고 있죠.
어 그 뭐 뭐죠? 어 그 슈퍼가 그 요즘 그 중국계 회사, 미국계 회사 중에 슈퍼 컴퓨터 조립하는 회사들이 있어요.
슈퍼마이크론.
예.
뭐 그 주가 막 오르는 회사들이다.
예.
이런 회사들이고요.
어 나중에는 저는 이게 아예 물통 속에 집어넣고 그 이후에는이 물이 반도체로 지나갈 거다.
그러니까 왜 이렇게 하면 이렇게 안 하면 천배에 밴드비스트가 안 나온다는게 이제 제 가설 속에서 주장하는 겁니다.
삼성전자가 잘 안 되는게 저 반려를 잘 못 잡는다는 소리.
어 제가 그건 M비D한테 못 물어봤습니다.
예.
알겠습니다.
근데 어 뭐 그 여러 가지 예 하여튼 2등 기업은 항상 그 불이익이 있는 거 같아요.
뭐 1등 기업이 잘하는데 굳이 바꿀 이유가 없잖아요.
1등보다 확 뛰어나야 되잖아요.
그런게 처음 삼성이 겪는 건데 그래서 HBM 4에서 삼성이 승부를 봐야 된다라는게 제 주장인 거죠.
음.
트렌드 바뀔 때 예.
예.
알겠습니다.
그럼 다 들어보죠.
HB은 지금까지는 HBM이 어떤 숙제를 갖고 있느냐이 얘기를 이제 여러분들한테 말씀드렸고네 그 재미 없으시나 재분들도 그랬으면 좋겠는데요.
예 그래서 일단 저 일단 종합으로 정리했습니다.
HBM 발전 방향 일단 밴드위스가 높아진다.
음 그러려면속도로 넓어진다.
라인의 개수가 많아져야 된다.
그니까 라인의 속도가 높아져야 된다.
그러려면 TS 또 엘리베이터의 개수가 많아져야 된다.
그다음에 우리 그 본딩이라 그래요.
뭐 한미 반도체도 있고 요즘 카 그 본딩의 개수와 간격이 줄어든다.
또 좁아야 되는구나.
더 힘들.
그래서 지금 한미 반도체가 아마 TC 본딩 뭐 이런 거 쓸 거예요.
끝날 운명이 얼마 안 남았다.
아 그 본딩으로는 너무 그 방식으로는 그런 더 이상 용접이 차지하는 비중이 너무 크다는 거예요.
커서 그래도 중간에 또 언더필이라고 물질이 있어서 열이 잘 안 지나가요.
음.
아, 그래서 어, 지금은 잘하시지만 방심하시면 안 된다.
이런게 있고 또 그 기업도 그렇고 딴 기업도 그 피치를 줄이고 본딩의 간격을 줄이는 새로운 기술을 내놓아야 된다.
장비 그게 기회다.
예.
그렇게 그 메시지가 두 가지 같이 있는 거죠.
예.
그다음에 메모리의 용량이 커진다.
음.
어, 거기다가 다 아까 그랬잖아요.
계속 그 데이터가 많아진다고.
근데 멀리 기록해 두는게 아니라 HBM이 다 둬야 되니까 층수가 늘어날 수밖에 없고 두 번째는 DDR 말고 LPDDR도 HBM처럼 쌓을 것이다.
음.
파워 소목을 줄이려고.
음.
그다음에는 플래시 메모리도 옆에 쌓을 것이다.
다 하여튼 쌓는다.
이제 쌓는다.
지금은 디램만 쌓는 HBM이잖아요.
그 옆에 LPDDR도 쌓고 LPDDR은 어떤 겁니까? 어 전력 소모가 적은 핸드폰에 들어가는 디램이에요.
어 그러니까 퀄컴이나 그니까 암 아키텍처라 그래서 예 CPU G C CPU GPU가 있는데 CPU는 DDR이 메모리가 붙고 어 모바일용 그 암 아키텍처의 프로세서는 AP라고 우리가 보통 부르는데 거기는 LPDDR에 붙습니다.
좀 속도는 노이 널이지만 저 저절 여용이고요.
음.
플래시 메모리는 훨씬 더 느리지만 용량이 훨씬 더 높아요.
우리 핸드폰이나 카메라 그것도 쌓을 것이다.
옆에 음 계속 주상복 건물이 들어쓴다.
카운트 모여야 된다.
음.
그 방 그 방식이 유일한 해결책이니까 현재까지는 저 앞으로도 계속 저는 10년 20년 그렇게 보는 지금 디램만 싸서 HBM 때문에 우리가 깜짝 놀랐잖아요.
다 쌓는다라는게 제주장이고 그게 아파트 타운처럼 이렇게 한 군데 모여 있게 된다.
야 반도체도 진짜 단지화 되는구나.
그럼 이제 쌓는 기술이 쌓고 그것들을 서로 연결하고 통신하고 제어하는 기술 하고 그리고 쿨링하고 그다음에 얘 왔다 쟤 데이터 명령을 주면서 제어를 해야 되잖아요.
그거를 HBM이 미래는 해야 된다라고 내가 제가 주장하는 거죠.
HBM으로 다 들어오는 셈이네요.
결국 저는 그걸 주장하는 그거를 이제 HBM 센트릭 컴퓨팅인데 컴퓨터의 구조의 반란을 한번 10년 후에 내려보자.
음모든 HBM에 있으면 HBM 중심으로 프로그래밍이 되도록 세상을 바꿔보자.
그전에는 CPU 중심이었거든요.
그러다가 GPU로 넘어왔잖아요.
HBM으로 가져가 보자.
그럼 만약에 이거를 미국 기업들이 깨닫는 순간 마이크론이나 자기네가 만드는 HBM 회사를 만들어서 뭐 자기네 세상을 유지하려 그러겠죠.
음라 반도체 기업이 사느냐 마느냐가이 전쟁이다라고 저는 보는 거예요.
그게 아니라 그냥 단순 하청 부품 기업으로 계속 존재하면 되는데 언제든지 경쟁자한테 도퇴될 수 버려짐을 받을 수 있다.
예.
마이크론이 커지고 뭐 이러면 예 그래서 우리 국가의 생명이 여기에 달려 있다.
반도체 산업하고 이렇게 주장하는데 거듭 말씀드리지만 제 여러 가지 가설하에 이렇게 주장하는 거고요.
맞으면은 어 맞은게 좋은 건지 모르겠습니다.
예.
그다음에 이제 어 아 컴퓨팅조차도 HBMS 하자이 얘기 컴퓨팅조차도 HMS BM에서네 이따가 말씀드린데 예 GPU 베이스 다이에 맨 다이가 있다 그랬잖아요.
거기에 GPU를 집어넣차라는게 이제 제 주장입니다.
지금은 어떻게 돼 있는 건데요? 지금은 그냥 그 지표하고 데이터 주고 받는 그러니까는 아까 제가 터미널이라 그랬잖아요.
그냥 여객 터미널만 있는 거예요.
거기가 아니라 큰 백화점을 거기다 짓자 이거예요.
음.
거기 아파트도 짓고 호텔도 짓고 그래서 거기서 그냥 살다 비행기 타고 외국 나갔다가 또 외국 공항은 바로 거기 호텔도 있고 백화점도 있는 모델이 있을 수 있는 거 같아요.
예.
어.
워낙 공항에서 기다리는 시간 많으니까 시내 가지 말고 아 아 그게 제 주장입니다.
예 음 지금은 HBM HBM에 써서 그게 GPU로 갔다가 다시 왔다가 뭐니까 그냥 다 한 동네 그냥 살자 한 아파트죠.
예.
아, 네.
그거 맞는 말일 것 같습니다.
아, 그다음에 이제 어, 그 아까 실리콘 그 바닥에 있다는 실리콘 인터포가 있는데 거기다가도 반도치니까 회로를 집어넣자.
밑에를 놀리지 말고 지하 놀지 말.
그러니까 거기다가도 지하 상가 집어넣 차라는 거.
슈퍼마켓이라도 집어넣자.
음.
음.
아, 그리고 그런데 이제 실리콘은 12in 웨이퍼라 사이즈가 제한이 있어요.
예.
거기다가 아무리 뭐 상가 만들고 해도 그 이상 더 커질 때는 유리 기판을 쓰자.
음.
그래서 유리 기판과 실리콘을 같이 쓰자.
그 하이브리드 기판이라 이렇게 유리 기판.
유리 기판 쓰면 좋은 점이 뭔데요? 대면적이 돼요.
어.
어 아니 공항을 뭐 1천평짜리가 아니라 몇 만 평면 또 커지잖아요.
예.
그러니까 하여튼 커질 수밖에 없네.
실리콘으로는 커질 수가 없어요.
12인치 웨이퍼 공장 현재 아 웨이퍼 딱 사이즈가 정해져 있 인프라가 12인로 정해져 있으니까 아 근데 유리로 하면 그거보다 더 넓은 걸로 만들 유리는 이제 텔레비전 파넬처럼 몇 미터 봐 몇 미터도 되니까 우리나라가 이제 유리 가공은 잘하잖아요.
텔레비전 패널을 많이 했으니까.
예.
그렇구나.
아, 근데 이제 유리가 단점은 열팽창 계수, 열전도율 뭐 또 공정이 좀 어려 유리가 잘 녹지가 않아요.
실리콘보다.
예.
그런데 어쨌든 이세하게 깎기가 쉽지 않겠군요.
예.
예.
그 자세한 말씀은 하도 그고 또 주가에 반영이 돼 있어 갖고 조심스러운데 근데 언젠가는 그 기판도 유리까지 네 접목이 되겠다라는 생각을 갖고 있습니다.
어 그다음에 쿨링이 아까 말한 거는 리퀴드 쿨링에서 이머전 쿨링 음 임베디드 쿨링으로 가고 어 결국은 GPU, CPU, HBM, HBF 플래시 메모리까지 다 3D로 인티그레이션 되게 나오는 구조가 될 수밖에 없다.
그래야 아까 말씀드린 대로 밴드위스가 나온다.
이렇게 되겠습니다.
예.
그래서 그 그래프 하나만 그려 보면요.
지금 한 시간이 다 가는데 어떻게 괜찮습니까? 나중에 편집하실 때 잘 나눠 주시고요.
어 지금 HBM 3까지 와 있고 이제 4가 지금 개발되고 있는데 HBM 7까지예 어 밴드위이 밴드위라 그러죠.
대역폭이 6400까지 넣을 것이다.
이렇게 주장을 하고 있고요.
예.
여기 보면 저희가 2038년까지 이렇게 3년 단위로 저희가 이제 해 봤는데 여기서 데이터 레이트라고 하는 거는 차선 속도입니다.
예.
예.
에서 32GBS 네배 정도 넣을 것이다.
차선이 2048에서 16,000까지 들어갈 것이다.
예.
그럼 요거 두 개 곱하면 64바/세가 되는데 이게 지금 HBM4 나오는 거보다 32배가 더 늘어가는 거죠.
와.
근데 이게 1천배가 돼야 되니까 그것까지 아직 멀기는 하는데요.
어 그다음에 어 전력 소모양도 75W에서 180W까지 늘어갈 것이다.
아 전력 소모도 늘 이게 로드맵이니까 기업이 이대로 안 따를 수도 있습니다.
아니면 뭐 연도가 조금 바뀔 수도 있는데 저는 이렇게 가는 경향성은 어 그렇게 믿고 있고요.
아까 그 본딩 방식이 마이크로 범퍼 방식에서 카파 2 카파 다이렉트 본딩으로 바뀐다.
제가 이게 HBM 6부터라 그랬으니까 지금으로부터 한 5, 6년 후에는 어 이걸로 준비 안 하면 본딩도 바뀐 거다.
네.
네.
그다음에 컴퓨터 전체를 물속에 집어넣는 거가 이머전 쿨링이라 그러는데 HBM 5부터 이렇게 되고 HBM 7에 반도체 안으로 통과시켜야 된다.
예.
요게 이제 큰 흐름이고요 밑에 내용은 조금 있다가 이제 또 말씀을 드리겠습니다.
네.
이야.
네.
이건 또 엘리베이터 엘리베이터 이제 요거는 이제 전체적인 숫자를 보여 주는 거고요.
아키텍처를 보여 드리면 HBM4에는 여기 커스터이드 HBM 베이스인데 여기에 일부 GPU 기능이 들어가기 시작을 합니다.
네.
아 그런데 어 SK 하이닉스 같은 경우는요 커스텀 베이스 다이의 설계를 아마 M비D하고 같이 할 거 같고 어 공정도 TSMC 공정을 쓰고요 HBM은 하이닉스에서 하고 패키징은 TSMC하고 이런 에코시스템인데 삼성은이 전체 GPU 파운더리도 해야 되고 어 커스터마이드 HPM 베이스 아이도 파운더리를 그니까 DM 공정이 아닙니다.
그다음에 HBM도 하고 패키징도 해야 되니까 어 삼성만의 새로운 에코시스템을 만들어야 되는데 어 그 파트너가 브로드컴이 될 수도 있고 구글이 될 수도 있고 뭐 뭐 메타가 될 수도 있고 그런데 아마 삼성한테 많은 커스터머들이 찾아오고 있지 않을까 이렇게 생각하는데 여기서 어 성능 중에 하나가 GP와 HBM 사이에 차선이 두 배로 늘었고 차속이 늘었는데이 커스터마이드 베이스이에에 예.
성능에 또 많이 의존할 거 디램만 잘해서 안 되고.
음.
예.
아까 말씀드린 것처럼 맨 위에도 수압도 좋아야 되고 여기가 뜨거워졌을 때 열도 잘 그니까 여기에 GPU 기능이 있다라는 건 얘가 좀 뜨거워진다는 얘기거든요.
그니까 열도 잘 빼 줘야 되는 거죠.
전부다.
음.
그래서 HBM4에서 양사의 실력이 상당 부분 늘어날 것이다.
그다음에 또 하나는 GPU 옆에 이제 HBM이 붙어서 데이터를 주어받고 주어받고 해요.
예.
그러면 HBM이 기존에는 HBM의 데이터를 채워야 될 거 아니에요.
새로 새로 학습하거나 새로운 어 생성을 할 때 그럼 외부에 있는 메모리 예를 들면 LPDDR이 CPU GPU를 거쳐서 이렇게 오게 돼 있어요.
예.
지금은 모든 컨트롤을 CPU가 하고 GPU는 계산을 도와주고이 계산의 메모리를 도와주는 이런 계층 구조를 갖고 있는 거예요.
네.
그런데 저는 이게 시간이 많이 걸리거든요.
그래서 HBM 옆에 LPDDR 메모리를 쭉 깔아 놓을 것이다라는게 제 주장인 거예요.
아, 점점 메모리 타운이 이제 커지는 시발점이 HBM 4부터 나오는 거죠.
CPU가 없는데요.
얘이 얘 HBM의 데이터를 채우는 그 프로세스에는 CPU가 관여를 안 하는 거죠.
어 어쨌거나 현상적으로 보면 아마 Nv디디아 젠슨왕이 내년에 HBM 4가 들어가는 블랙웰이나 아니면 루비나 뭘 딱 보여줄 때 보면 HBM 옆으로 뭐가 또 따다닥 붙을 거라는 거죠.
음.
예.
아 그러면 이런 준비를 하이닉스도 해야 되고 삼성도 해야 된다는게 제 주장인 거죠.
음.
그러면 HBM에 들어가는 HBM도 팔고 LPDDR도 팔고 그럼 HBM과 LPDDR이 서로 궁합이 맞아야 되잖아요.
약속 프로토콜이 맞아야 될 거 아니에요.
예.
서로 규격이 맞는 것끼리 붙어야 되니까 이게 사업이 상승 효과가 거기서 또 나오는 거죠.
음.
음.
그래서 HBM 4가 중요하다고 제가 이제 주장하는 그런 측면이 있습니다.
HBM이 AI 반도체에 매우 센터가 될 거다.
그렇게 저는 주장하 근데 이런 면은 있습니다.
제가 하루 종일 HBM만 생각을 하고요 작년에 스승의 날 우리 학생들의 케이크를 HBM 모양으로 딱 만들어 준 거예요.
아파트 모양으로 이렇게 올려 가지고 적신경 실 올해도 또 그 올해도 또 그런 거예요.
그래서 약간 뭐 이랬는데 HBM4를 디자인해서 어더라고.
아.
어.
그러니까 이제 대학원생도 살기 어려운 솔직히 그런데 그렇게 스택처럼 이렇게 하려고 깜짝 어디서 이렇게 했는 학생 그런데 아 그거는 이제 나쁘게 보면 이제 그 아니 하여튼 그런데 우리 학생들하고 저하고 몰입해서 사는 거예요.
여기에.
그니까 이제 과욕하고 이게 더 과장되게 보일 수는 있는데 그래도 어 뭐 근거가 이시에 AI 알고리즘부터 시작해서 몇 개 가정은 있지만 그게 맞다라면 어 이거 저 놓치면 안 된다라는게 이제 어허데 저게 저렇게 되려면 TSMC가 잘해야 되는 겁니까? TSMC요? TS 아 그니까 TSMC도 이런 면에서 이제 분리한 거죠.
메모리 중심으로 간되는데 자기는 메모리를 안 갖고 있으니까.
예.
아 그러면 하이닉스한테 잘하겠죠.
하이닉스 중심으로 간다는 뜻이잖아요.
이 말은.
그러니까이 가정이 맞다면 그 하이닉스의 비중이 더 커진다는 거죠.
이 제대로 하면.
음.
어 삼성은 이대로 잘하면 이런 시대를 리드하면 어 용기 있게 하면디아 하고 맞장 뜰 수 있다라는게 제 주장인 거죠.
야, 정말 제주장입니다.
그러니까 뭐 진실은 진실은 꼭 진실이어서 진실하기보다 믿으면 진실이 종교처럼 뭐 그런 건 있습니다.
지금 주방장이 모자한게 아니라 서빙 보는 직원이 모자라니까 서빙 잘하는 직원은 주방장보다 몸감 높아질 수 있겠다요.
네.
그리고 그 사람도 못 가면 로보트도 시키는 거고 그 계속 이노버티브하게 어디가 어 바틀렉이 되냐를 보고 거기 집중적으로 해야 돼.
지금이이 말씀은 삼성전자 하이닉스가 들어라라는 말씀이네요.
일단 요약하면.
그리고 근데 삼성전자 하이닉스하고 기술 얘기 많이 합니다.
엘리베이터 속도.
그런데 제품 아키텍처는 서로 대화를 안 해요.
왜냐면 그분들이 자기 커스터머들 하고 주고 받는 거를 제가 알면 학교는 오픈 조직이잖아요.
그래서 저도 물어보지 않아요.
그런데 이거 보고 맞네.
어 진짜가? 음.
뭘 알고 뭐 몇 가지 반응이 있을 수 있죠.
근데 이거는 이따가 이제 HBMA까지 하면 더 많은 얘기가 있을 텐데 예.
근데 하여튼 아마 여기까지는 양쪽이 이미 공감하고 커스터머 중에 이걸 요구하는 커스터머가 있었을 거라고 생각합니다.
아, 요렇게는 앞으로 가려고 갈 수밖에 없다.
갈 수밖에 없다.
일반 저저 같은 일반인들은 그래서 그럼 반도체 업계가 앞으로 어떻게 변할 거냐 조금 더 구체적으로는 플레이어들이 어떤 붙임이 있을 거냐가 궁금한데 만약에 이런 식으로 트렌드가 되면 네.
어떨 거 같으세요? 이게 똑같은 질문을 이제 그 메모리가 하는 업체가 기회가 된다.
1번 메모리 하는 업체에 좀 더 많은 기회가 있다.
기회가 있다.
그 삼성화이닉스 말고 다른 업체가 마이크 테크놀로지 그다음에 중국도 이제 요즘 HBM 연구 시작했다 그러고 어 근데 두 번째는 경쟁이 더 치열할 것이다.
세 번째는 GPU 메모리가 막 합쳐지니까 음 프로세서 기업과 메모리 기업의 해계문이 전쟁이 벌어질 것이다.
그 사느냐 죽느냐 게임이지.
그냥 우리가 우리 역할만 만족하고 서플라이 체인 속에서 우리 역할로 있는 비즈니스 모델은 제 생각에에 오래 유효할 것 같지 않다.
왜냐면 그런 모델은 중국이나 대만이나 일본이나 언제든지 우리를 쫓아올 수 있지 않을까 하는 걱정을 갖고 있습니다.
CPU가 별도로 지금 있는 건 그러니까 예를 들면 HBM CPU의 역할을 하려면 CPU가 안으로 들어와야 되는데 네.
그걸 못 하는 것도 이유가 있을 거잖아요.
어.
해계모니가 하나가 있고 소프트웨어가 바뀌어야 돼요.
어디에 소프트웨어가 바뀌이 되도록 다 돼 있을 거 아니에요? 어 우리가 뭐예 파이토치나 뭐 텐스플로 AI를 프로그램을 짜면 쿠다라는 컴파일러가 이렇게 바꿔서 명령어를 CPU한테 전달합니다.
이제 HBM에 직접 주려면 쉽게 쿠다가 바뀌어야 되는 거죠.
아 그러면 우리가 그런 컴파일러라고 하는 쿠다 같은 소프트웨어를 몇만 명이 10년간 할 만한 경제력과 인력이 있느냐.
그 기간 동안 젠슨은 완전히 회사 다 망하다시피 했는데 지금 살아난게 그런 쿠다 같은 건데.
예.
이제 그런 생태계와 그런게 소프트웨어 생태계가 기본적으로 뭐가 바뀌어야 되는군요.
그렇게 바뀌려면.
근데 저는 믿는게 AI 때문에 바뀔 수밖에 없다고 보면 그 플레이어가 누가 되면 우리가 해계모니를 강하게 잡고 있으면 공존할 수도 있지 않느냐.
그러면 하이닉스처럼 지금 해머니를 잡고 있는 회사에게도 또 변화의 위기가 온다는 뜻이 뭐 잘하고는 있지만 해계모니고 잡고 있는지는 잘 모르겠고요.
어 뭐 어느 분야나 그렇지 않나요? 음.
특히이 기술이 그냥 절대적으로 경쟁 일어나는 그런 분야에서는 잠시 졸면 그냥 훅 가는 거 아닌가요? 어.
예.
좀 넘어가 보겠습니다.
예.
조만간다.
예.
그다음에 이게 이제 HBM 5인데요.
예.
어, 지금 G HBM 베이스에 GPU 기능이 일부 들어간다고 그랬잖아요.
음.
너무 열이 나요.
예.
그래서 맨 위로 빼고 그 위에 냉각을 시키자.
으흠.
아, 그래서 이게 뭐든가요? 아파트맨 옥상에 식당 있는 걸 뭐라 그러지? 스카이라 그러지? 예.
근데 이게 위로 올라가는 이유는 냉각이 더 중요해지면 음 천장에 냉각기가 있게 되면 그러면 아 이럴 때 이제 단점은 위까지 수합이나 전력을 여기까지 공급해 줘야 돼요.
요런 구조까지도 저희는 저희 연구실을 하는데이 정이 들고요.
그다음에 HBM 5에 아까 LPDDR이 붙는다 그랬잖아요.
예.
어 그다음에 SSD라고 랜드 플래시 같은 대동량 메모리가 CXL라고로 붙을 것이다.
음 아까 우리 HBM 4에서 여기 DDR로 하는데이 용량이 또 안 될 수가 있어요.
네.
그러면 CXL로 해서 대량 메모리가 메모리 네트워이 돼서 여기에 HBM 5에 붙을 것이다.
음.
자꾸 메모 외장하드 같은 느낌이네요.
그렇죠.
외장 하드가 가까이 붙는 거죠.
음.
HBM3는 TSV 엘리베이터가 가운데만 주어 있었어요.
예.
근데 TSV가 어떤 역할이 있냐면 아까 데이터만 보내는게 아니라 전력도 공급하고요.
열도 빼요.
네.
이게 또 비밀이에요.
음.
그런데 HBM4는이 TSV가 모잘라요.
열도 빼야 되고 전력도 공급해야 되고 그래서 바깥으로 쭉 뒤를 찰 것이다라는게 제 주장이고 예 HBM 5부터 에은 이렇게 그리드 형태로 곳곳에 그러면 왜 전통 HBM 3쯤 되면 주로 이게 메모리 셀들이거든 메모리 용량이 중요한 시대에서 엘리베이터가 더 중요한 시대로 바뀌는 거야.
면적이 한 30%가 엘리베이터로 채워진다.
어.
어 근데 그 이유 중에 하나가 데이터를 많이 보내려면 TSV 개수가 늘어야 돼요.
밴드위 때문에.
그다음에 전력을 많이 공급해야 돼요.
그리고 파이프가 굵어야 돼요.
음.
그러고 열도 통과시켜야 돼요.
야.
그러니까 비싸질 수밖에 없는데 이렇지 않고는 동작할 수 없다라는게 이제 제 주장이고요.
그 통로가 저렇게 많아질수록 전기가 많이 쓰이는 거예요.
그렇죠.
뭔가 보내는 거 이건 일과 공인데 전류를 보냈다 끊었다 하니까 보내 그리고 속도에 비례해요.
전력 사용량이 속도에 비례하고 지금도 부족하다는데 저것도 큰 걱정이군요.
큰 그 그런 거죠.
그래서 여기서 보면 TSV 엘리베이터가 노란게 이제 데이터 보내는 거고 전력 공급하는게 TPB라고 트루파워비아 접지를 또 시켜 줘야 돼요.
노이즈를 없애기 위해서.
음 그다음에방출는 TTV가 생길 거 같습니다.
네.
제가 이런 용어를 잘 만드는 편인데요.
TTV라는 단어 나오시면 저 제가 처음 쓴 거라고 나만든 단어요.
아니 엘리베이터로 열도 보내야 된다는 발상을 그렇게 바꾸는 거.
아 엘리베이터가 그냥 뚫어 놓은 걸로 다른 용도도 있어야 된다.
그 엘리베이터가 있으면 그 어쨌든 구멍을 뽕 뚫어야 되잖아요.
건물에 그럼 물통과시키지 않은 거.
아, 금속으로 채우거나 뭐 아, 이런 발상이 되게 2010년도쯤에 했을 때 질문이 왜 꼭 굳이 쌓야 되느냐, 왜 실리콘 기판을 써야 되느냐.
뭐 여러 가지 질문이 있었는데 지금도 그럴 수 있어요.
아, 비하가 뭐 열 가지.
음.
그다음에 요거 본딩인데요.
카파투 카파 본딩이 된다고 HBM 5부터 이렇다 그랬잖아요.
예.
고개 열을 또 잘 통과시켜요.
음.
얇게 붙이니까.
네.
그런데 제 주장은 카퍼 카퍼 본딩 위에 바로 서멀 비아를 연결해서 열 고속도를 잘 만드는게 어 HP 5부터 승패를 결정할 것이다.
이렇게.
음.
어.
그다음에 냉각은 그 위로 이제 위로 열을 빼면 뭐 해요? 이 구조물에서 이런 그림을 누가 잘 패키징하느냐 스택하느냐 본딩 기술을 확보하느냐 아 거기서 어 뭐 엔비디아가 주도한다면 그때까지 엔비디아 선택하는 기업이 될 것이다.
이렇게 저렇게 바뀌면 종전에 만들었던 GPU랑 돌아가고 있는 거는 계속 쓸 수 있는 겁니까? 같이 쓸 수 있습니다.
새로운 세대의 GPU와.
네.
새로운 세대 지우면 아 제가 젠슨노이라면 밴드위스 HBM과 데이터를 빨리 주어봤냐 그다음에 광통신이라고 있어요.
GPU끼리 데이터 주어받는 인피니 밴드라 그러고 MV 거기서 속도를 계속 높이려고 업그레이드 할 거 같고 어이 GPU 하나가 뭐 계산기가 100만 개 있다면 200만 개 만들려면 두 개를 패키징으로 옆으로 붙일 것 같아요.
으흠.
앞으로 신제품들은 예.
블랙웰은 두 개가 붙었어요.
그게네 개, 여덟 개 이렇게 갈 거 같습니다.
GPU도 몇 개 타운이 되는데 이렇게 HBM처럼 쌓지는 못해요.
워낙 열이 많이 나서 냉각을 시켜야 되기 때문에 지금도 GPU랑 HBM이 있으면 HBM의 성능에 따라서 얘의 그 가동률이 정해지는 거라면 그렇다면 차세대는이 HBM이 더 고성능이 된다는 거잖아요.
네.
그러면 이미 팔렸던 기판에서 GPU 뜯어다가 새로운 거에다가 넣는게 더 경제적이지는 않을까요? 작동 못 하고 있는 뭐 그렇게 하는게 제가 세과인데 뜯어다가 HBM 1층에다가 집어넣자라는 거죠.
예.
아, 다시 재건축 같은 개념이구나.
그네.
음.
야, 알겠습니다.
6로 넘어가야 되나? 넘어가면 그 실리콘 인터포저라 그러는데요.
집 이게 공항이라고 아까 공항 터미널이라고 그랬잖아요.
네.
메모리가 계속 쌓는데 한 개가 있으니까 여러 개를 쌓게 된다.
이렇게 되겠습니다.
타운처럼.
그다음에 아까 제가 전력을 밑에서 공급한다 그랬잖아요.
이게 굉장히 전력 공급이 어려워요.
그래서 물도 밑에 구멍을 뚫어서 냉각시키듯이 반도체 깊판 안으로 전력선을 집어넣차라는 건데 그걸 백사이드 PDN이라 그럽니다.
네.
예.
전력 공급망도 어 이렇게 그리고 HBM6부터는 깃하는 실리콘 아 글래스 그 위에 실리콘 그 위에 GPU가네 개 HBM이 여덟 개 이런 식으로 큰 하나의 타운이 이루어서 이거가 여덟 장이나 16장 쌓으면 하나가 단위가 AI 슈퍼 컴퓨터가 될 것이다.
이렇게음 글래스로 바꿔 보자.
왜냐면 요터포저의 크기가 제한이 있으니까.
예.
예.
그다음에 HBM7부터는 예.
플래시 메모리를 쌓자.
플래시 메모리가 안에 이미 128층으로 쌓져 있거든요.
예.
그거를 하나 웨이퍼를 또 쌓는 거예요.
그러면 1280층을 쌓는 거예요.
음.
요게 만층까지 가지 않겠나? 아내가 한 200장 이거를 20개 싸우면 와.
어, 근데 지금까지 랜드 플래시는 안에 층수를 쌓는 걸로 승부를 봐왔어요.
한국과 중국 기업들이 일본 기업들이 샌디 있을 거 같은데 이제는 이거를 쌓는 걸로 승부가 본다.
그 HBM7부터는 그래서 H GPU가 있으면 그 옆에 HBMF가 있고 그 옆에 HBF 플래시 메모리가 쌓이고 CXL로 옆에 메모리 네트워이 쌓이는 이런 계층적인 구조로 갈 것이다.
음.
그다음에 냉각은 그때부터는이 반도체 안으로 지나가야 되 안으로 들어와서 해야 될 거다.
그 HBM AC 되면 그것도 모자라서 글래스 기판이 있고 양쪽에 실리콘이 있고 여기 GPU HBM에서 바닥 쪽에 또 HBM 타운을 만들자.
음 지하로 지하로 뭐 지하가 이렇게 되면 우주선되는 건데 위아래가 없는 거죠.
위 그리고 아래 위로 냉각을 시키자 가운데가 있는 거.
가운데서 왔다 갔다 하는 거고.
와, 그다음에 아래쪽을 플래시 메모리를 쌓서 어, 오케이.
컴퓨터 구조가 이때 되면 완전히 혁신이 냉각도이를 밑으로 시켜야 되고 그다음에 더 미래에는 HBM 안에 CPU GPU를 자넣어서 CPU GPU를 왕따시키자.
아 그러고요.
어 뭐 그런 얘기였습니다.
이상 마치겠습니다.
긴 시간 경청수 감사드리 두 분께서 반응을 이렇게 해 주셔 가지고 제가 너무 이거 약간 아이디어로 계약할 때 아파트를 열심히 보세요.
교수님 아파트를 아파트 대전 대전 아파트가 숲속에 있어서 너무 좋은데요.
새 소리들.
근데 멀리 이제 신세계 백화점이 들어왔어요.
거기 주상복합 건물이 지어져서 남의 아파트지만 열심히 보고 있고.
근데 이제 동일한 점은 뭐냐면 거기도 땅값이 비싸니까 자꾸 위로 가는 거 같아요.
음.
그렇죠.
어.
그게 하나가 있고 일본을 80년대가 보면 지하철 있는 영마다 백화점이 있더라고요.
어.
지하철량 연결해서 밑으로.
아, 지하철이 바로 역사가 백화점이더라고요.
그게 우리나라도 많이 도입됐어요.
지금 뭐 서울역 옆에 백화점도 있고.
그게 다 이동 거리 줄이려고 하는 거 아닌가? 음.
그런데 그게 지정학적인 인간이 분포하는 집과 직장 이런게 이제 지구상에 분포돼 있어서 그걸 3D로 이렇게 하면 공간 효율이 좋아지는 건데 그것보다는 요즘 이제 아파트 가격 올리는 거에 더 관심이 있으신는 거 같은데 그런 효율이 높아지는 거죠.
예.
근데 어떻게 하다 보니까 GP와 HBM 사이에도 컴퓨터 아키텍처 사양에서도 데이터 트래픽을 줄여야 되니까 가까이 붙이고 고층 건물로 쌓고 어 엘리베이터 설치하고 이렇게 핵심이 돼 버렸습니다.
근데 그 페널티가 뭐냐면 전기를 많이 쓴다.
열이 많이 냉각해야 된다.
비용이 비싸다.
그러면 아까 기자님 말씀하신 것처럼 그 비용을 누가 될 거냐? 그 전기를 누가 될 거냐? 뭐 이런게 있는데 제 가설은 AIF로 패권 유튜브가 다 AI로 도배될 때 그런 시대를 꿈꾸는 사람들이 누군가 세계를 디자인하고 있다면이 방향으로 갈 수밖에 없다 이렇게 생각했습니다.
또 반대로 그 그 기술이 자꾸 따라와 줘야 그런 세상이 오겠네요.
그렇죠.
네.
음.
음.
저희에게는 그런 세상이 안 와야 되겠습니다.
우리 산업적으로론 또 뭐 해야 이렇게 또 오면 이제 유튜브를 야 이런 거 있어요.
카이스트 김정호 교수님이 만약 HBM의 세대별 구분과 발전 방향에 대해서 강의하실 것 같은 내용을 네가 만들어서 알려 줘라고 하면 오늘 이런 영상이 인공지능으로 만들어지면 그렇죠.
저는 뭘 먹고 삽니까, 교수님? 네.
교수님이 다음 기회 다음 기회에 혹시 불러 주시면 피지컬 AI에 대해서도 좀 해 얘기해 보고 싶은데요.
네.
어 거기에 또 그런 의도가 있습니다.
사람이 그럼 정신 노동은 AI가 하고 우리는 육체 노동만 하면 되는데 육체 노동까지도 AI가 제하려고 들어오고 뭐 다 그 로봇 로봇에 AI가 들어가는 거죠.
네.
그것도 좀 로봇에 AI가 들어가려고 해도 이런 식으로 더 많은 밴드웨이스가 필요한 거예요.
어딘가 AI 슈퍼 컴퓨터에서 계산해 주고 통신으로 와서 로봇을 제어할 것이다.
이제 전 그런 걸 이제 클라우드 서비스라 그러는데 엣지에 이런 걸 다 하기에는 너무 비싸고 비용이 크고 전기가 안 돼요.
그래서 그래서 데이터 센터에 계속 미국이 투자를 하고 사우디가 투자하고 이렇게 아지 그 매번 그 노봇 한타 하나에 받기에는 비싸다.
그렇겠네.
AI가 앞으로 반도체가 커질 텐데 시장은 무조건 커진다.
이렇게 보면 무조건 이라보다 제 가정하에서 가정하에서는 네.
그러면 HBM이 지금 GPU가 늘어나는 속도보다도 더 필요하다고 보시는 거네요.
그순 지금보다도 기술 발전할게 더 많고.
예.
그래서 제가 이런 생각이 됩니다.
80년대 초반에 어 우리가 디램을 시작했어요.
진짜 너무 잘한 거죠.
음 그때 보면 인텔이 포기를 했어요.
디램은 자기네 하기에 위에 그냥 귀찮은 마진이 적거에 나고 엄청난 고생을 해야 되니까 아시아 시장에 준 거 같아요.
파운더리는 대만 주고 어 그런데 일본하고 우리가 경쟁에서 어떻게 하든 그게 뭐 플라자 협정 때문이 어떤지 우리가 성공한 거잖아요.
그래서 우리가 이렇게 발전하고 3, 4삼만 불 시대를 왔는데 그때 AI는 예측 못 된 거 같아요.
음.
음.
그렇죠.
인터 인터넷까지는 어운으로 여기 왔는데에 그래서 이게 인생이 돌고 도는 것처럼 저는 그렇게 믿는 거예요.
어 AI가 AI 시대에는 메모리가 더 중요해지고 그게 증명으로 나타나기 시작한게 HBM이니 우리가 여기를 잘해야 된다.
이 기회를 잡아보자.
음.
어, 동아시아에 있는 자국.
그래서 제가 뭐라고도 얘기하냐면 강의의 학생들한테는 우리를 우리나라를 보존하고 살리는게 세 가지가 있다.
하나가 일본이 세 종 한글.
음.
우리가 한글 없으면 사실은 정체성 유지하기 어렵잖아요.
두 번째가 거북선.
어, 세 번째가 HBM이 됐으면 좋겠다.
이렇게.
어, 알겠습니까? 야 H 후손들이 근데 제가 너무 여기 몰입해 있기 때문에 객관성이 좀 떨어질 수도 있는데 예 그래도 한번 기다은 목에 살린게 너 뭔지 아 뭐 하이닉스 입장에서 보면 이런 발전이 안 이루어지고 현재의 HBM 3인가요? 그럼 지금은네 지금은 예 3 상태가 계속 되는게 좋은 건가요? 저는 저는 그렇다고 저는 뭐 공학 항상 혁신을 바라는 공학자 입장에서는 그렇게 얘기 못 하겠고요.
HBM 45 67 리더십을 갖고이 질문은 하이닉스가 확실히 유리하냐는 질문 투자자들은 지금은 하이닉스 사두면 되고 하이닉스 삼성전자는 숏를 쳐야 되고 이게 세대가 올라갈수록 기술이 조금씩 달라지는 건데 기존에 하던 사람이 확실히 유리한 거냐 아니면 마이크론 이거 건너뛰고 나는 우리는 4세대로 할래 5세대로 근데 양사의 장점이 다른 거 같아요.
하이닉스는 지금 계속했다는 거 삼성은 토탈 솔루션을 갖는다.
그 전 둘 다 잘했으면 좋겠어요.
삼성은 다 하는 거고 그렇죠.
베이스 아이도 하고 패키징도 하고 토탈 솔루션을내는 거고 예 하이닉스는 그 생태계 안에 들어가 둘 다 잘됐으면 좋겠습니다.
그래서 제가 발램은 둘 다 잘돼서이 어 마이크론이나 중국이 못 쫓아오게 해서 HBM 시장은 항상 90% 이상을 두 회사가 했으면 좋겠고요.
음.
예.
그럴 가능성이 높아 보이십니까? 아니면 이 제 이렇게 기술 개발 계속 계속 이노베이션 해서 이렇게 되면 마이크로는 왜 못 따라올 거로 생각하세요? 아니 아까 쿨링이나 본딩 기술 이런 거 얘기했잖아요.
거기는 솔루션이 없으면 거기 거를 장착하면 Nv디디아 입장이나 프로하면서 입장 장착하면 성능이 안 나오는 거예요.
음.
그러니까 버벅거리는 거죠.
아까 토큰/퍼 세컨드라운데 1초에 10개 나오는 회사하고 20개 하는 회사가 달라지는게 있고 이게 열이 많이 나면 아까 메모리 데이터가 죽을 수 있다 그랬잖아요.
뭐 여러 가지 회로가 동작을 잘 안 하고 늦어져요.
그 반열과 관련한 제 그러면 가장 큰 문제가 뭐냐면 학습하다가 중간에 셧다운이 일어나요.
뭔가 고장이 일어나는 거 데이터가 이상해지고 그럼 처음부터 다시 해야 돼요.
학습을 몇주며 주일이나 몇 달을 그 다시 해야 돼요.
그니까 셧다운 우리 SK텔리콤이나 KT도 마찬가지지만 우리 인터넷이 한번 죽으면은 완전히 그 온 동네에서 컴플레인 받고 난리 나잖아요.
어 그런 것처럼 서비스 퀄리티가 너무 나빠지는 거니까 A 회사, B 회사 썼는데 A 회사는 한 달에 한 번 셧다운 되는데 B 회사는 뭐 한 달에 두 번 되더라.
그럼 A 회사 쓰는 건데.
음.
마이크로는 한 달에 한 번씩 셧다운 되는데 삼성과 SK 하이닉스는 어 1년에 한 번도 안 일어난다.
전기로도 적게 된다.
지금도 그렇습니까? 아니면 그렇게 될 만한 어떤 필연적인 내지는 높은 개헌성을 가진 논리가 있나요? 어, 비디아나 이런데 물어보지 않습니다.
너무 민감한 질문이 제 상상인데요.
다 그런 것들이 아마 들어 공개되지 않습니다.
그면 자기네 셧다운하는 일수나 시간이 드러나면 엔비디아도 큰 타격을 받거든요.
그때 그 깡의 비밀입니다.
근데 제가 그냥 엔지니어링적으로 상상을 해 봤을 때 그런 최종적으로 어 엔비디아가 납품을 했는데 어 오픈 AI가 막 학습하고 메타가 학습하는데 A사와 B사 차이 나고 막 그럼 바로 피드백이 올 거 아니에요? 그 그 말씀은 지금 잘하는 하이닉스 하여튼 지금 잘하는 애가 계속 앞으로 유리할 가능성은 높아.
그렇게 HBM 4부터는 전 50대 50으로 봅니다.
50대 50으로.
어, 삼성과 하이닉스가 HBM 5부터는 완전히 예측 불능이고요.
어느 회사가 더 핵심 기술을 갖고 저거 하느냐? HBM 4는 베이스이가 아까 중요하다 그랬잖아요.
네.
예.
그게 중요하기 때문에 네.
그게 중요하다는 건 어떤 의미를 갖습니까? 그 HP 베이스다이의 성능이 아까 공항 터미널 설계를 잘해야 된다는 거 다이 밑에 밑에 밑에 그거하고 어 뭐 발열 냉각 뭐 여러 가지가 다 종합적으로 HM이 진짜 중요하구나 여기에 대한 자세한 내용을 들으실 들으실 분은네 카이스트 카이스트 어 카이스트가요 내용을 가지고 하루 종일 당연한다 언제 합니까 생중계를 하시는 거 같던데 목요일 11시 아 뭐 6월 11일 아침 9시부터 부터 오후 5시 반까지 하는데 줌으로 올라오는 건 HBM 로드맵 검색하면 아마 금요일부터는 다 올라올 것 같습니다.
이번 목요일에는 생방송을 하시고 금요일부터는 영상을 올려 주시고 저희도 그 영상 올라오면이 영상의 댓글로 링크를 걸어 놓을 테니까요.
예.
음.
관심이 들어가서 오늘 제가 아까 한시간 정도 한 내용을 이제 8시간 동안 조금 그니까 석박사학생 먹으니까 이렇게 하면 뭐가 좋아지는지를 자세히 보는게 있고 이렇게 설계하려면 어떻게 해야 되지 않은데 AI로 설계해 보고 있거든요.
인공지능으로 인공지능 어떤 기법들이 사용되고 있는지 이런 내용이 되겠습니다.
습니다.
또 공부 배울게 있으면 또 청할게요.
감사합니다.
감사합니다.
합니다.
[음악]
영상 정리
영상 정리
1. 유튜브 영상 시작 전 공지로 인터넷 서비스와 전화 활용의 중요성을 강조했어요.
2. 작은 돈이라도 전화로 받는 습관이 인생의 자세를 만든다고 이야기했어요.
3. 투표와 같은 작은 습관이 삶의 태도를 바꿀 수 있다고 강조했어요.
4. 오늘 강의는 반도체 업계, 특히 HBM(고대역폭 메모리)의 미래와 경쟁에 관한 내용입니다.
5. HBM은 AI 반도체에서 핵심 역할을 하며, 삼성과 하이닉스가 경쟁 중이라고 설명했어요.
6. 앞으로 HBM 4, 5, 6, 7 세대가 설계되고 발전할 방향을 상세히 예측했어요.
7. HBM의 대역폭, 용량, 냉각 기술, 본딩 방식 등 기술적 도전과 해결책을 설명했어요.
8. HBM이 차세대 컴퓨팅 구조의 핵심이 될 것이며, 이를 위해 새로운 설계와 기술이 필요하다고 했어요.
9. 미래에는 HBM과 CPU, GPU, 플래시 메모리, 광통신이 3D로 통합될 가능성을 제시했어요.
10. 강의는 AI와 반도체 산업의 패러다임 변화, 경쟁 구도, 그리고 기술 발전 로드맵을 다뤘어요.
11. 6월 11일 생중계와 유튜브 영상으로 상세 내용을 공개할 예정임을 알렸어요.
12. 결론적으로, HBM 중심의 컴퓨팅과 기술 혁신이 앞으로 산업을 주도할 것이라고 전망했어요.
