비용·공간 한계 부딪힌 HBM, SK하이닉스의 HBF가 보완재로 나선다

|스마트투데이=김나연 기자| 인공지능(AI) 반도체 시장을 이끌어온 고대역폭메모리(HBM)에 이어 낸드플래시가 차세대 AI 메모리로 급부상하고 있다. AI 산업의 무게중심이 대규모 모델을 만드는 학습에서 수많은 사용자에게 서비스를 제공하는 추론으로 이동하면서, 연산 속도뿐만 아니라 방대한 데이터를 담아두고 즉각 꺼내 쓰는 저장 능력이 핵심 과제로 떠올랐기 때문이다.

그 중심에 고대역폭플래시(HBF·High Bandwidth Flash)가 있다. HBF는 여러 개의 낸드 다이를 수직으로 쌓아 데이터 전송 통로를 대폭 넓힌 차세대 메모리다. D램을 쌓아 만든 HBM과 구조적 발상은 같지만 쓰임새가 다르다. HBM이 D램의 빠른 속도를 극대화한 제품이라면, HBF는 낸드의 압도적인 저장 밀도를 바탕으로 데이터 전송 속도를 대폭 끌어올리는 데 집중한다.

GPU 옆 지킨 HBM…추론 시대가 부른 용량의 한계

현재 AI 서버는 연산을 담당하는 GPU와 연산에 필요한 데이터를 공급하는 메모리로 구성되어 있다. GPU 바로 곁에는 초고속 메모리인 HBM이 위치하고, 그 아래로 일반 D램과 낸드 기반 SSD 등이 속도와 용량에 따라 계층을 이루는 구조다.

지금까지 AI 메모리 경쟁이 사실상 HBM 경쟁으로 불렸던 이유는 AI 학습의 특성 때문이다. AI를 학습하는 과정에서는 GPU가 쉴 새 없이 돌아가며 대규모 수식을 연산한다. 이때 GPU가 아무리 뛰어나도 메모리에서 데이터가 제때 도착하지 않으면 연산을 멈추고 대기해야 한다. 지금까지는 HBM을 GPU 바로 옆에 붙여 넓은 데이터 통로를 열어 이 병목현상을 해결해왔다.

하지만 AI 서비스가 실시간 추론 영역으로 본격 확장되면서 상황이 달라졌다. 단순히 계산만 빨리해서는 해결할 수 없는 새로운 병목이 나타났기 때문이다. 업계에서는 속도 못지않게 얼마나 많은 데이터를 지연 없이 붙들고 있을 수 있는지가 시스템 성능의 핵심 변수로 떠올랐다고 보고 있다.

길어지는 대화와 RAG·에이전트…추론은 왜 방대한 메모리를 요구하나

처음 대형언어모델(LLM)에 추론(Inference)이 도입된 당시에는 이용자의 간단한 질문을 받아 모델이 한 차례 계산한 뒤 답을 내놓는 구조를 띠었다. 반면 최근 AI 서비스는 여기서 더 나아가 문맥을 길게 유지하는 대화형 모델과 자율적으로 작업을 수행하는 AI 에이전트로 진화하고 있다.

사용자와 긴 대화를 이어가려면 AI는 현재 들어온 질문뿐 아니라 이전 대화 맥락까지 함께 기억해야 한다. 뿐만 아니라 질문이 복잡해지면 한 번에 답을 내지 않고 여러 단계에 걸쳐 추론을 반복한다. 단순한 채팅이 아니라, 복잡한 작업을 수행하는 AI 에이전트까지 나아가면 더욱 추론 단계가 늘어나게 된다. AI 에이전트는 사용자의 요청을 해결하기 위해 검색엔진을 뒤지고, 기업 내부 데이터베이스를 조회하며, 다른 소프트웨어나 보조 AI 모델을 수시로 호출하는 등 여러 작업을 단계적으로 수행하기 때문이다.

기업 내부 문서나 공시, 최신 뉴스를 실시간으로 찾아 답변에 반영하는 검색증강생성(RAG)이 대표적이다. 예컨대 사용자가 이전에 분석한 자료를 바탕으로 경쟁사 현황을 비교해달라고 요구하면, AI는 마지막 질문만 보는 것이 아니라 앞선 대화의 분석 결과와 새로 검색한 기업 자료를 함께 연산 장치에 띄워두고 비교해야 한다.

이 과정에서 AI의 작업 기억에 해당하는 KV 캐시(KV Cache)가 빠르게 쌓이게 된다. KV 캐시는 AI가 앞서 읽은 문장과 대화를 매번 처음부터 다시 계산하지 않도록 중간 연산 결과를 저장해두는 공간이다. 대화가 길어지고 검색 데이터가 늘어날수록 이 작업 기억의 크기는 기하급수적으로 늘어나게 된다.

한 명이 쓸 때는 큰 무리가 없지만, 수십만 명에서 수백만 명이 AI 서비스에 동시에 접속하면 상황은 전혀 달라진다. 이용자마다 축적되는 대화 기록과 KV 캐시, 외부 호출 데이터가 겹겹이 쌓이면서 시스템 메모리에 심각한 부하를 준다는 설명이다.

엔비디아가 공개한 CMX(Context Memory Storage) 기술도 이 문제를 해결하기 위해 등장했다. CMX는 초고속 NVMe SSD를 별도의 콘텍스트 메모리로 활용해, GPU 메모리에 다 담지 못하는 KV 캐시를 외부 저장장치에 보관하고 필요할 때마다 신속하게 재사용하는 기술이다. 업계에서는 이를 GPU 내부 메모리를 넘어 외부 저장장치까지 추론 연산에 직접 동원해야 할 만큼 메모리 수요가 폭증했다는 방증으로 해석하고 있다.

값비싼 HBM과 먼 거리의 SSD…‘작업대’와 ‘창고’ 사이의 빈자리

메모리 수요를 충족할 수 있는 가장 단순한 해결책은 HBM을 계속 늘려 장착하는 것이다. 그러나 이 방식은 현실적인 한계가 뚜렷하다. HBM은 가격이 매우 비싼 데다 GPU와 함께 첨단 패키징 공정을 거쳐야 해 물리적으로 기판 위에 올릴 수 있는 면적과 용량에 제약이 따른다. 모델 파라미터와 대화 기록, KV 캐시, 검색 데이터를 모두 HBM에 넣는 방식은 비용과 공간 측면에서 지속하기 어렵다는 평가다.

지금 당장 처리해야 하는 연산 데이터와 기존 SSD에 두기에는 너무 자주 불러오는 데이터 사이에 깊은 공백이 발생한다. HBM을 아주 빠르지만 좁은 작업대, 기존 SSD를 멀리 떨어진 거대한 창고에 비유한다면, 작업대 바로 곁에 둘 수 있는 널찍한 보조 선반이 절실해진 셈이다.

이러한 한계로 인해 낸드 기반 SSD가 대안으로 떠오르고 있다. 낸드 기반 SSD는 전원이 꺼져도 데이터가 보존되고 용량 대비 가격이 저렴하다. 하지만 연산 장치와의 거리가 멀고 전송 속도가 느려 수시로 읽고 써야 하는 데이터를 처리하기에는 지연 시간이 길다는 단점이 있다.

이에 따라 글로벌 반도체 업계는 사용 빈도에 맞춰 메모리를 다층으로 배치하는 계층형 메모리(Tiered Memory) 전략을 구축하고 있다. 당장 연산할 핵심 데이터는 HBM에 올리고, 사용 빈도는 낮지만 신속하게 다시 불러와야 하는 대용량 데이터는 고속 중간 계층에 두며, 장기 보관용 데이터는 SSD에 저장해 데이터 이동 비용을 최소화하는 방식이다.

D램 쌓은 HBM, 낸드 쌓은 HBF…새로운 보조 작업대의 탄생

HBF는 바로 이 중간 계층을 겨냥해 고안된 메모리다.

HBF의 목표는 HBM만큼 빠른 속도를 달성하는 것이 아니다. 낸드 특유의 높은 저장 밀도를 그대로 유지하면서, 기존 SSD 인터페이스보다 대역폭을 비약적으로 끌어올려 HBM과 SSD 사이의 속도 격차를 메우는 데 있다.

SK하이닉스와 샌디스크가 오픈컴퓨트프로젝트(OCP)를 통해 제시한 HBF 표준 사양이 이를 뒷받침한다. 양사는 8단과 16단 낸드 적층을 기준으로 최대 512GB 용량을 제시했다. 대역폭은 성능 등급에 따라 0.4TB/s에서 3.0TB/s까지 구현하도록 설계했다. GPU와 CPU 등 다양한 프로세서와 연결하기 위해 범용 칩렛 인터페이스인 UCIe(Universal Chiplet Interconnect Express)도 채택했다. 구글과 텐스토렌트 등 글로벌 빅테크 기업들도 표준화 논의에 동참했다.

업계에서는 HBF가 HBM을 대체하기보다 상호 보완적인 역할을 맡을 것으로 보고 있다. 즉각적인 연산 처리는 HBM이 담당하고, 상시 보관하기에는 덩치가 크지만 빈번하게 호출되는 콘텍스트와 캐시 데이터는 HBF가 흡수하며, 그 하단에 대용량 저장용 SSD가 자리 잡는 다층 생태계가 구축될 수 있다는 분석이다.

단순 보관 창고서 연산 파트너로…낸드의 패러다임 전환

업계에서는 HBF의 등장을 두고 저장장치에 머물던 낸드플래시의 역할이 AI 연산 지원 영역으로 확장되는 흐름을 보여주는 사례로 평가하고 있다.

SK하이닉스는 AI 추론 시장을 겨냥해 낸드 제품군을 성능(Performance), 대역폭(Bandwidth), 용량 밀도(Density)로 세분화한 AIN(AI-NAND) 패밀리 전략을 전개하고 있다.

입출력 병목을 줄이기 위해 셀과 컨트롤러 구조를 재설계하는 AIN P는 2026년 말 샘플 공급을 목표로 개발 중이다. 대역폭을 극대화한 HBF는 AIN B군에 해당하며, QLC 기술을 바탕으로 페타바이트(PB)급 용량을 구현하는 AIN D는 대규모 데이터레이크 시장을 공략한다. 데이터를 더 빠르게 읽고, 한 번에 더 넓은 통로로 보내며, 압도적인 양을 안전하게 보관해야 하는 AI 시대의 요구가 낸드 제품군의 분화를 이끌고 있다는 관측이다.
다만 HBF는 기술 표준 규격을 제안하며 첫발을 뗀 단계다. 향후 AI 가속기 제조사들이 실제 하드웨어 설계에 HBF를 얼마나 적극적으로 도입할지, 그리고 HBM 및 기존 D램과의 데이터 이동 소프트웨어 최적화를 얼마나 안정적으로 구현해낼지가 상용화의 핵심 과제로 꼽힌다.

과거 AI 메모리 경쟁의 초점이 GPU에 데이터를 얼마나 빨리 공급하느냐에 머물렀다면, 본격적인 추론 시대에는 방대해진 데이터를 어디에 두고 얼마나 효율적으로 전송하느냐로 경쟁의 축이 넓어지고 있다는 분석이다. 이에 따라 단순 저장장치로 인식되던 낸드플래시 역시 AI 시스템의 성능을 좌우하는 핵심 축으로 자리 잡아가고 있다는 시각이 힘을 얻고 있다.