삼성·하이닉스 HBM 10배! '괴물 메모리' HBF·zNAND-O가 뜬다
AI 시대, 메모리가 진화한다! HBM vs HBF, 그리고 삼성의 새로운 도전
요즘 AI가 엄청나게 발전하면서 컴퓨터 부품들도 같이 똑똑해지고 있어. 특히 GPU 주변에 붙어있는 네모난 메모리 덩어리, HBM이라고 들어봤지? 얇은 메모리 칩들을 여러 개 쌓아 올린 건데, SK하이닉스가 만든 16단 HBM 4는 한 스택에 48GB나 담을 수 있대.
근데 여기서 더 놀라운 소식이 나왔어! SK하이닉스랑 샌디스크가 HBF(하이 밴드 위플래)라는 새로운 메모리를 공개했는데, 이게 한 스택에 무려 512GB를 담을 수 있다는 거야! 이건 HBM 4 10개를 합친 것보다 더 많은 용량이지.
더 대박인 건, 이 HBF가 우리가 아는 디램이 아니라 낸드 플래시로 만들어졌다는 거야. 낸드 플래시는 원래 SSD나 스마트폰 저장 공간에 쓰이는 건데, 이걸 HBM처럼 쌓아 올린 거지. 삼성전자도 비슷한 시기에 10세대 낸드를 NPU(신경망 처리 장치)랑 합쳐서 G랜드 5라는 걸 공개했어.
두 회사가 왜 낸드로 이런 새로운 메모리를 만들고 있을까?
왜 HBM만으로는 부족할까?
AI 모델이 점점 커지면서 엄청나게 많은 숫자(웨이트)를 메모리에 올려야 해. 모델이 커질수록 웨이트가 차지하는 공간도 늘어나는데, 이걸 GPU 한 장의 HBM에 다 담기 어려워. 그래서 여러 GPU에 나눠 담고 서로 데이터를 주고받으면서 계산해야 하는데, 이때 GPU 자체의 계산 능력보다 메모리 용량이 부족해서 GPU를 더 추가해야 하는 경우가 생긴다는 거야.
GPU가 늘어나면 당연히 전력도 많이 먹고, 열도 많이 나니까 냉각 비용도 올라가지. HBF처럼 낸드 플래시를 GPU 가까이에 두면, 웨이트를 담을 공간을 확보해서 GPU 수를 줄일 수 있는 가능성이 생기는 거지. 꼭 계산 때문에 GPU를 더 쓰는 게 아니라, 용량 때문에 GPU를 더 쓰는 경우를 줄일 수 있다는 거야.
GPU를 그대로 둔다고 해도 좋아. HBM 용량이 늘어나니까 더 많은 사용자 요청이나 긴 문맥을 처리할 수 있게 되는 거지. 결국 HBF는 단순히 빠른 저장 장치가 아니라, AI 시스템의 비용을 줄이거나 효율을 높이는 데 도움을 주는 거야.
HBF, 낸드 플래시로 HBM만큼 빠를 수 있을까?
여기서 궁금한 점! 낸드 플래시는 원래 HBM보다 훨씬 느린데, 이걸 쌓아 올려서 HBM이랑 비슷하게 만들 수 있을까?
HBM은 빠른 디램을 넓게 연결해서 지연 시간을 줄이고 높은 속도를 내는 방식이야. 반면에 HBF는 낸드 플래시를 쌓는데, 낸드는 데이터를 읽기 시작하기까지 시간이 좀 걸리고, 작은 데이터보다는 페이지라는 비교적 큰 단위로 데이터를 꺼내.
HBF는 낸드의 느린 응답 시간을 그대로 안고 가지만, 대신 여러 낸드 다이에 동시에 읽기 요청을 보내고 큰 데이터 묶음을 한꺼번에 받아 처리량을 높이는 방식이야. 마치 여러 사람이 동시에 일을 나눠서 하는 것처럼 말이지.
그래서 HBF는 읽는 순서가 비교적 규칙적인 웨이트 데이터에 잘 맞아. 마치 미리 정해진 순서대로 물건을 가져오는 것처럼 말이지.
HBF는 어디에 쓰일까?
HBF는 SSD처럼 너무 멀리 떨어져 있지 않고, HBM처럼 너무 비싸지도 않은 중간 지점에 위치하게 돼. 즉, GPU나 AI 가속기 가까이에 두고 자주 쓰는 데이터를 보관하는 새로운 메모리 계층이 되는 거지.
이 HBF는 UCI(Universal Chiplet Interconnect)라는 규격을 사용해서 GPU나 NPU 같은 연산 칩과 연결돼. 쉽게 말해, 칩들끼리 데이터를 주고받는 고속도로 같은 거야.
놀라운 건, SK하이닉스랑 샌디스크만 만드는 게 아니라 구글이랑 텐스토렌트 같은 회사들도 HBF 표준 개발에 참여하고 있다는 거야. 이건 HBF가 엔비디아 GPU뿐만 아니라 다양한 AI 가속기에서 사용될 수 있는 표준이 될 가능성을 보여주는 거지.
HBF가 웨이트 말고 다른 데이터에도 쓰일 수 있을까?
HBF는 AI가 대화를 이어갈 때 필요한 KV 캐시에도 쓰일 수 있어. KV 캐시는 이미 처리한 내용을 잠깐 저장해두는 건데, 대화가 길어질수록 계속 늘어나.
문제는 낸드 플래시가 기존 데이터를 바로 덮어쓰지 못한다는 거야. 새로운 데이터를 쓰려면 빈 공간을 찾아야 하고, 필요 없는 공간은 정리해야 하지. KV 캐시처럼 데이터가 계속 생겼다 사라졌다 하면 낸드 플래시의 정리 작업이 복잡해질 수 있어.
그래서 HBF는 거의 바뀌지 않고 반복해서 읽는 웨이트 데이터에 먼저 쓰이고, 나중에 KV 캐시처럼 쓰기가 많은 데이터로 확장될 가능성이 높아.
삼성의 새로운 도전, G랜드 5
삼성은 HBF와는 조금 다른 길을 선택했어. 어떤 NPU와 모델을 쓸지 미리 알고 있다면, 낸드 플래시까지 함께 설계해서 최적화할 수 있다고 생각한 거지.
삼성의 G랜드 5는 10세대 낸드를 SLC(Single-Level Cell) 방식으로 사용해. SLC는 셀 하나에 1비트만 저장해서 속도는 빠르지만 용량은 줄어드는 방식이야. 이걸 여러 개 쌓고 NPU와 한 패키지로 묶어서 UCI로 연결하는 거지.
HBF의 최대 속도보다는 낮지만, G랜드 5는 특정 NPU와 모델에 맞춰 최적화할 수 있다는 장점이 있어. 이렇게 되면 스마트폰이나 자동차처럼 정해진 기능을 반복하는 제품에서 더 복잡한 AI 모델을 로컬에서 실행할 수 있게 되는 거지.
HBF와 G랜드 5, 누가 더 좋을까?
SK하이닉스와 샌디스크는 범용성과 생태계 확장을 노리고, 삼성은 통합과 맞춤화를 택한 거야.
두 방식 모두 아래쪽에 로직(Logic)이 중요해. HBM의 베이스 다이는 데이터 통로를 관리하고, HBF의 베이스 다이는 낸드 다이의 위치를 찾고 데이터를 관리하는 역할을 해. 낸드를 단순히 쌓는 게 아니라, 낸드의 약점을 감추고 메모리처럼 보이게 만드는 기술이 필요한 거지.
낸드 메모리, 정말 쌀까?
낸드를 쓴다고 무조건 싼 건 아니야. SLC 방식은 용량이 줄어들고, 400단 낸드, TSV, UCI, 첨단 패키징까지 더해지면 가격이 올라갈 수밖에 없어.
그래서 HBF나 G랜드 5는 기존 SSD를 대체하기보다는 AI 모델을 위한 새로운 메모리 계층으로 추가되는 형태가 될 가능성이 높아. 결국 중요한 건 가격 자체보다는 시스템 전체 비용을 얼마나 줄일 수 있는지가 될 거야.
고장 나면 어떻게 될까?
또 다른 문제는 고장 문제야. 기존 SSD는 고장 나면 쉽게 교체할 수 있지만, HBF나 G랜드 5처럼 연산 칩과 한 패키지로 묶여 있으면 교체가 어려워. 낸드 플래시는 온도나 사용 조건에 따라 수명이 달라지는데, 뜨거운 연산 칩 가까이에 있으면 수명이 더 짧아질 수 있지.
그래서 일부 낸드가 열화되더라도 서비스가 계속 유지될 수 있도록 데이터를 다른 곳으로 옮기거나, 일부 용량을 포기하더라도 계속 사용할 수 있는 기술이 중요해질 거야.
앞으로의 전망
삼성은 과거에도 비슷한 시도를 했지만 큰 성공을 거두지 못했어. 하지만 지금은 AI 모델이 커지고 HBM 용량이 시스템 비용의 병목이 되면서 상황이 달라졌지.
HBF와 G랜드 5는 AI 시대를 맞아 낸드 플래시를 단순한 저장 장치가 아닌, AI 연산을 직접 지원하는 새로운 메모리로 바꾸려는 시도야. 앞으로 이 기술들이 실제 제품과 시장을 어떻게 바꿀지, 그리고 얼마나 효율적이고 안정적인지 지켜봐야 할 거야.
우리나라 대표 메모리 기업인 SK하이닉스와 삼성전자가 서로 다른 방식으로 이 변화를 이끌고 있다는 점은 정말 자랑스러운 일이지!