GPU만으론 못 버틴다…AI 에이전트가 촉발한 CPU·서버 D램 수요

|스마트투데이=김나연 기자| 메타의 개인 인공지능(AI) 에이전트 뮤즈(Muse)가 출시 6주 만에 설정 이용자 1000만명을 넘어서면서 반도체 시장의 지형이 바뀌고 있다. 사용자를 대신해 24시간 자율적으로 작업을 처리하는 AI 에이전트가 확산하자, 그래픽처리장치(GPU)뿐만 아니라 중앙처리장치(CPU)와 고용량 서버 D램의 중요성이 급부상하는 분위기다. 개인 에이전트 이용자 100만명당 물리적 서버 약 2800대가 추가로 필요한 것으로 나타났다. 이에 맞춰 AMD는 에이전트 전용 CPU 서버 설계를 공개했고, 마이크론과 엔비디아도 관련 하드웨어 공급 확대에 착수했다.

뮤즈 1000만명 돌파…컴퓨팅 부족에 글로벌 출시 제한

22일 업계에 따르면 마크 저커버그 메타 최고경영자(CEO)는 21일(현지시간) 열린 3분기 실적 발표에서 뮤즈의 설정 사용자가 1000만명을 넘어섰다고 밝혔다. 지난 9월 8일 미국과 캐나다에 서비스를 선보인 지 약 6주 만이다. 뮤즈를 설정한 이용자 가운데 25%가량은 매일 서비스를 사용하고 있다.

뮤즈는 사용자가 목표를 지정하면 이메일 확인, 일정 관리, 상품 검색, 예약, 결제까지 자율적으로 수행하는 AI 에이전트다. 사용자가 기기를 사용하지 않는 시간에도 작업을 이어간다. 마크 저커버그 메타 CEO에 따르면 뮤즈 이용자의 25% 이상이 쇼핑에 서비스를 활용하고 있으며, 1회 평균 구매액은 200달러를 웃돈다.

개인 에이전트 시장에는 글로벌 빅테크가 잇달아 뛰어들고 있다. 오픈AI는 지난 9월 29일 상시 가동형 개인 에이전트 닷츠(dots)를 공개했다. 차세대 모델 GPT-6 아스트라를 기반으로 자체 클라우드 컴퓨터를 활용해 4000개 이상의 애플리케이션과 연동된다. 구글과 마이크로소프트도 업무용 AI 에이전트 기능을 공격적으로 확장 중이다.

이용자가 급증하자 서비스 운영을 뒷받침할 컴퓨팅 인프라 확보가 핵심 과제로 떠올랐다. 마크 저커버그 메타 CEO는 뮤즈가 막대한 컴퓨팅 자원을 요구하는 서비스인 탓에 글로벌 전역으로 출시를 넓히지 못했다고 설명했다. 메타는 향후 수년에 걸쳐 10억명 이상의 이용자를 감당할 수 있는 컴퓨팅 인프라를 구축할 방침이다.

메타가 제시한 올해 설비투자 전망치는 1350억~1450억달러에 달한다. AI 모델 개발과 서비스 운영용 서버·데이터센터 인프라 투자가 모두 포함된 수치다. 마크 저커버그 메타 CEO는 향후 1년간 뮤즈의 컴퓨팅 비용 효율을 10배 이상 끌어올리겠다는 목표도 내놨다. 인프라 증설과 운영 효율화를 동시에 달성하겠다는 구상이다.

이용자 100만명당 서버 2800대…CPU·D램 신규 수요 촉발

개인 에이전트가 막대한 컴퓨팅 자원을 소비하는 까닭은 특유의 구동 구조에 있다. 뮤즈는 사용자 한 명마다 독립된 가상머신(VM)을 배정한다. 가상머신은 단일 물리 서버를 여러 대의 독립된 컴퓨터처럼 쪼개어 쓰는 기술이다. 각 이용자가 클라우드 안에 자신만의 PC를 두고 AI 에이전트를 돌리는 셈이다.

가상머신에는 운영체제(OS)와 웹 브라우저가 깔리고, 사용자별 파일과 작업 기록, 프로그램 구동 상태가 고스란히 저장된다. 에이전트가 이메일을 열어보거나 웹사이트에서 상품을 찾아 결제하는 모든 과정에서 실시간 컴퓨팅 자원이 소모된다.

업계에 따르면 뮤즈의 가상머신 1개에는 2개의 가상코어(vCPU), D램 약 8GB, 저장공간 약 100GB가 할당되는 것으로 추정된다. xAI의 그록 봇은 8 vCPU와 D램 16GB, 오픈AI 닷츠는 9 vCPU와 D램 10GB를 배정하는 것으로 파악됐다.

AI 모델이 문맥을 추론할 때는 GPU와 고대역폭메모리(HBM)가 핵심 역할을 한다. 하지만 가상머신 안에서 브라우저와 애플리케이션을 띄우고 파일을 다루며 전체 작업을 지휘하는 일은 CPU와 서버 D램의 몫이다. 개인 에이전트가 늘어날수록 모델 추론 자원뿐 아니라 에이전트의 실행 환경을 유지하는 범용 인프라까지 함께 늘려야 하는 이유다.

삼성증권은 개인 에이전트 이용자 100만명당 추가로 필요한 서버 D램 용량을 약 1840만Gb(230만GB)로 계산했다. 이를 감당하려면 물리적 서버 약 2800대가 필요하며, 데이터센터의 전력 소모량도 5.8MW가량 증가한다.

이용자별 가상머신의 평균 메모리 사용량과 동시 가동률, 서버 자원 점유율을 종합한 결과다. 향후 메타 뮤즈의 월간활성이용자(MAU)가 10억명에 이르면 추가로 필요한 D램 수요만 약 184억Gb에 달할 전망이다.

AMD, 3만2768코어 서버 설계 공개…CPU 중요성 부각

CPU 제조사들은 에이전트 중심의 환경 변화에 발맞춰 서버 아키텍처를 재편하고 있다. AMD는 지난 12일 AI 에이전트 전용 서버랙 설계인 헬리온(Helion)을 공개했다. 모델 추론과 에이전트 작업 실행을 완전히 분리해 처리하는 방식이다.

헬리온은 6세대 에픽(EPYC) CPU를 바탕으로 단일 랙에 최대 3만2768개의 CPU 코어를 집적하도록 설계됐다. 대규모 클라우드 서비스 제공업체(CSP)용 CPU 전용 랙과 엔터프라이즈 고객용 CPU·GPU 통합 랙으로 나뉜다.

CPU 전용 랙은 다수의 AI 에이전트가 프로그램을 실행하고 작업을 관제하는 역할을 맡는다. 모델 추론은 외부에 연결된 GPU 인프라가 전담한다. 기업용 통합 랙에는 에픽 CPU와 인스팅트 MI350P GPU가 함께 들어간다. AMD는 협력사들과 헬리온을 개발 중이며 오는 11월 양산 공급에 나설 예정이다.

AI 에이전트의 구동 방식 자체가 CPU 수요를 끌어올린다. 사용자 요청을 수행하기 위해 여러 프로그램을 동시에 돌리거나 작업을 잘게 쪼개 처리하는 과정에서 CPU의 멀티코어 병렬 처리 능력이 필수적이기 때문이다.

AI 모델 규모에 따른 자원 비중에서도 이 같은 흐름이 드러난다. 매개변수 80억개(8B) 수준의 소형 AI 모델을 쓰는 에이전트 환경에서는 시스템 내 CPU와 GPU의 최적 구성 비중이 각각 58%, 42%로 분석됐다. 700억개(70B) 모델 환경에서도 각각 50%로 대등했다. 소형 경량화 모델을 탑재한 에이전트가 확산할수록 CPU의 비중이 더 커지는 셈이다.

인텔 역시 다중 작업을 효율적으로 분담하는 고밀도 서버 CPU 개발에 속도를 내고 있다. AMD와 인텔이 코어 집적도와 전력 효율 경쟁을 벌이는 가운데 엔비디아도 자체 CPU 생태계를 넓히며 에이전트용 서버 시장의 주도권 다툼이 치열해지고 있다.

마이크론, 512GB D램·KV 캐시 SSD 공급…메모리 생태계 확장

CPU 중심의 서버 아키텍처 변화는 메모리 수요 전반으로 번지고 있다. 다수의 에이전트를 동시에 안정적으로 가동하려면 CPU가 처리할 데이터를 담아둘 D램 용량과 전송 대역폭이 뒷받침돼야 한다.

마이크론은 지난 9월 30일 실적 발표에서 최대 512GB 용량의 DDR5 서버 메모리 모듈 샘플을 공급하기 시작했다고 밝혔다. 해당 제품은 최대 9200MT/s의 전송 속도를 낸다. 8800MT/s급 서버 D램 모듈 역시 복수 고객사의 품질 검증을 통과했다.

저전력 서버 메모리 수요도 가파르게 늘고 있다. 마이크론의 2026회계연도 4분기 SOCAMM 제품군 매출은 직전 분기 대비 2배 이상 뛰었다. SOCAMM은 서버용 저전력 D램 모듈로, 고밀도 컴퓨팅 인프라에서 전력 소모를 줄이면서도 메모리 용량을 확보하는 데 쓰인다.

AI 에이전트는 추론 단계에서도 막대한 메모리를 소모한다. 단순 질의응답에 머무는 대화형 AI와 달리, 에이전트는 작업 계획 수립, 웹 탐색, 프로그램 실행, 결과 검증까지 모델을 수없이 재호출한다.

앤트로픽에 따르면 단일 에이전트의 토큰 소모량은 일반 챗봇 대화의 약 4배에 달한다. 여러 에이전트가 협업하는 다중 에이전트 환경에서는 소모량이 15배까지 치솟는다. 토큰은 AI 모델이 데이터를 처리하는 기본 단위로, 토큰 사용량이 늘수록 요구 연산량과 메모리 공간도 급증한다.

특히 이전 연산 결과를 임시 보관해 재활용하는 KV 캐시 수요가 폭증하고 있다. KV 캐시는 반복 계산을 줄여 응답 속도를 높이는 기술인데, 다중 작업을 동시에 처리하는 에이전트가 늘어날수록 저장해야 할 캐시 용량도 불어난다.

6만4000토큰 길이의 문맥을 처리하는 모델에서 동시 세션 수가 1개에서 8개로 늘어나면 필요한 KV 캐시 용량은 20GB에서 170GB로 8배 이상 팽창한다.

마이크론은 이에 맞춰 PCIe 5.0 규격의 7600 SSD와 PCIe 6.0 규격의 9650 SSD를 주요 고객사에 납품하고 있다. 두 제품 모두 추론 단계에서 쏟아지는 KV 캐시 데이터를 저장하는 전용 스토리지로 쓰인다. AI 에이전트의 부상이 GPU·HBM 중심의 메모리 시장을 서버 D램과 초고속 SSD로 다변화시키는 양상이다.

엔비디아, 128GB RTX 스파크 출시…개인용 AI PC 시장 개화

에이전트 열풍은 온디바이스 AI 및 소비자용 PC 시장으로도 옮겨붙고 있다. 사용자가 로컬 기기에서 직접 경량 AI 모델을 구동하고 복수의 에이전트를 돌리려는 수요가 생기면서, 고성능 프로세서와 대용량 통합 메모리를 탑재한 기기가 잇따라 출시되고 있다.

엔비디아는 지난 16일 온디바이스 AI 에이전트 구동을 겨냥한 윈도 PC 플랫폼 RTX 스파크(RTX Spark)를 선보였다. 에이수스, 델, HP, 레노버, 마이크로소프트, MSI 등 6개 주요 PC 제조사가 RTX 스파크 탑재 노트북을 공급하며, 출고가는 2599달러부터다.

RTX 스파크는 엔비디아 그레이스 CPU와 블랙웰 RTX GPU를 단일 아키텍처로 묶은 플랫폼이다. 최상위 모델은 20코어 CPU, 6144개 쿠다(CUDA) 코어를 갖춘 GPU와 함께 최대 128GB의 통합 메모리를 지원한다. AI 연산 능력은 FP4 기준 최대 1페타플롭스(PFLOPS) 수준이다.

대용량 통합 메모리는 온디바이스 에이전트 PC의 필수 스펙으로 꼽힌다. AI 모델 가중치뿐 아니라 작업 기록을 보존하는 KV 캐시, 운영체제, 각 에이전트가 점유하는 메모리 공간을 모두 물리 메모리에 올려야 하기 때문이다.

메타도 로컬 PC에서 단독 실행할 수 있는 300억개 매개변수 규모의 경량 모델 뮤즈 글리머 30B를 내놨다. 모델 크기를 줄이는 양자화 기법을 적용해 모델 자체 메모리 점유율을 20GB 미만으로 낮췄다. 이를 통해 24~32GB 메모리 환경에서도 로컬 AI 에이전트가 작동하도록 했다.

다만 복수의 에이전트를 동시에 장시간 구동하려면 더 넉넉한 메모리가 요구된다. 업계에서는 로컬 에이전트의 기본적인 단일 구동에는 64GB, 다중 에이전트의 상시 업무 수행에는 128GB급 메모리가 적합할 것으로 보고 있다.

개인 에이전트가 차세대 AI 인터페이스로 부상하면서 반도체 산업의 수요 기반도 입체적으로 넓어지고 있다. 데이터센터에서는 추론용 GPU·HBM에 더해 에이전트 실행 환경을 유지하는 고성능 CPU와 고용량 서버 D램, 대규모 캐시용 SSD가 필수 인프라로 자리 잡았다. 개인용 기기 시장에서도 초고용량 통합 메모리를 갖춘 특화 PC가 새로운 시장을 열고 있다. AI 에이전트라는 패러다임 전환이 반도체와 서버 인프라 전반에 걸쳐 새로운 사이클을 만들어내는 모습이다.