엔비디아의 다음 돈줄은 GPU가 아니라 메모리다

|스마트투데이=우세현 기자| AI 토큰 생산 비용은 낮아지고 사용량은 폭증하면서, 인공지능 산업의 다음 쟁점은 ‘누가 더 좋은 모델을 만드느냐’를 넘어 ‘새로 생긴 부가가치를 누가 가져가느냐’로 옮겨가고 있다.

AI 돈줄 쥔 엔비디아…토큰 비용 하락의 과실은 누가 가져가나

지금까지는 오픈AI와 앤트로픽 같은 대형언어모델(LLM) 기업들이 비용 절감의 상당 부분을 수익성 개선으로 흡수해왔다. 하지만 엔비디아가 차세대 AI 서버와 메모리 판매 전략을 통해 이 마진의 일부를 가져오려는 움직임을 보이면서, AI 산업 내 수익 배분 구조에도 변화가 생길 가능성이 커지고 있다.

AI 산업의 핵심 단위는 ‘토큰’이다. 토큰은 AI가 문장, 이미지, 코드 등을 이해하고 생성하기 위해 데이터를 잘게 나눈 처리 단위다. 사용자가 질문을 입력하고 AI가 답변을 내놓는 과정은 결국 토큰을 읽고, 계산하고, 새 토큰을 만들어내는 과정이다. AI 사용량이 늘어난다는 것은 곧 처리되는 토큰 수가 늘어난다는 뜻이다.

최근 AI 시장에서는 이 토큰을 만드는 비용이 빠르게 낮아지고 있다. GPU 성능 향상, 데이터센터 인프라 개선, 모델 구조의 효율화가 맞물린 결과다. 동시에 AI가 단순 답변형 챗봇을 넘어 추론 모델과 에이전트 AI로 확장되면서 사용량은 오히려 폭발적으로 증가하고 있다. 비용은 줄고 소비는 늘어나는 구조가 만들어진 셈이다.

비용은 줄었지만 가격도 내려갔다

현재 이 구조에서 가장 직접적인 수혜를 보는 곳은 LLM 기업들이다. 토큰 생성 비용이 낮아지면 이들의 지출은 줄어든다. 반대로 AI 사용량이 늘어나면 매출은 증가한다. 두 흐름이 동시에 나타나면서 모델 기업의 수익성은 빠르게 개선되고 있다.

다만 이를 단순히 ‘폭리’로 보기는 어렵다. 실제로 AI 모델을 API로 끌어다 쓰는 기업 고객의 체감 비용도 낮아지고 있기 때문이다. 최신 모델로 갈수록 성능은 높아졌지만, 입력 토큰과 출력 토큰의 단가는 과거보다 낮아지는 흐름이 나타나고 있다. 일반 소비자 입장에서도 월 구독료가 크게 오르지 않은 상태에서 모델 성능은 계속 개선되고 있다. 같은 돈을 내고 더 높은 효용을 얻는 구조다.

그럼에도 모델 기업들이 더 높은 마진을 가져가고 있다는 점은 분명하다. 여기서 말하는 마진은 전체 회사의 최종 이익률과는 다르다. 영상에서 언급된 ‘컴퓨팅 마진’ 또는 ‘인프라 마진’은 데이터센터와 연산 자원에 투입한 비용 대비 얼마만큼의 수익을 얻었는지를 보는 지표에 가깝다. 실제 기업 실적에는 연구개발비, 인건비, 영업비용, 모델 학습비 등 다양한 비용이 추가로 반영된다. 따라서 인프라 마진 개선이 곧바로 회사 전체의 순이익 급증을 뜻하는 것은 아니다.

엔비디아는 왜 가격을 더 올리지 않았나

흥미로운 대목은 토큰 비용 하락의 1등 공신이 엔비디아라는 점이다. 엔비디아는 AI 학습과 추론에 필요한 GPU를 공급하며 AI 인프라의 병목을 쥐고 있다. GPU 성능이 좋아지고 전력 효율이 높아질수록 같은 비용으로 더 많은 토큰을 생산할 수 있다. 그런데 비용 절감의 상당 부분은 지금까지 LLM 기업들이 가져갔다.

AI 공급망은 크게 세 단계로 나눌 수 있다. 첫째는 GPU를 설계하고 공급하는 엔비디아 같은 반도체 기업이다. 둘째는 GPU를 사들여 데이터센터와 클라우드 인프라를 구축하는 기업이다. 셋째는 이 연산 자원을 빌려 최종 고객에게 AI 서비스를 제공하는 LLM 기업이다.

이 구조에서 가장 강한 협상력을 가진 쪽은 엔비디아다. GPU 성능, 네트워크 기술, CUDA라는 소프트웨어 생태계까지 갖추고 있어 대체가 쉽지 않다. 마음만 먹으면 GPU 가격을 크게 올려 토큰 비용 절감으로 생긴 부가가치의 더 많은 부분을 가져올 수 있다.

그럼에도 엔비디아는 지금까지 비교적 조심스러운 가격 전략을 택해왔다. 독점적 지위에 대한 규제 리스크가 있고, 과도한 가격 인상은 고객사들이 자체 AI 반도체나 AMD 같은 대체재로 이동하는 계기가 될 수 있기 때문이다. 또 빅테크의 데이터센터 투자, 즉 캐펙스(CAPEX·자본적 지출)가 언제까지 지금처럼 확대될지도 변수다. 고객사의 투자 여력이 줄어드는 시점에 높은 가격 정책이 역풍으로 돌아올 수 있다.

그래서 엔비디아는 제품이 만들어내는 가치만큼 가격을 올리는 ‘가치 기반 가격’보다는, 제조원가에 일정 마진을 붙이는 ‘원가 기반 가격’에 가까운 전략을 유지해왔다. 신규 GPU의 성능이 대폭 좋아졌다고 해서 그만큼 가격을 곧장 끌어올리는 방식은 피한 것이다. 이는 AI 생태계 전체를 키우고, 장기적으로 더 많은 수요를 확보하려는 전략으로 볼 수 있다.

차세대 수익원은 ‘메모리 장사’

다만 엔비디아가 계속 기존 방식만 고수할 가능성은 낮다. 차세대 AI 서버에서는 메모리가 새로운 마진 확보 수단으로 떠오르고 있다.

핵심은 베라 루빈 세대부터 본격화될 것으로 언급되는 ‘소켓 메모리’다. 소켓 메모리는 GPU와 물리적으로 분리 가능한 모듈형 메모리 구조를 뜻한다. 기존처럼 고정된 형태로만 탑재되는 것이 아니라, 고객이 필요한 메모리 용량에 따라 구성을 달리할 수 있다. 쉽게 말해 노트북이나 스마트폰을 살 때 저장공간이나 램 용량을 올리면 가격이 크게 뛰는 것과 비슷한 구조가 AI 서버에도 적용될 수 있다는 의미다.

이 방식은 엔비디아에 유리하다. GPU 자체 가격을 크게 올리면 반독점 규제나 고객 저항이 커질 수 있지만, 메모리는 상대적으로 다른 방식의 가격 책정이 가능하다. 엔비디아가 메모리 업체로부터 부품을 확보한 뒤, 전체 AI 서버 플랫폼에 통합해 판매하면 부가가치를 붙일 여지가 생긴다.

최근 AI 인프라 시장에서 칩 하나만 파는 방식이 아니라, GPU·메모리·네트워크 장비가 통합된 랙 단위의 턴키 솔루션 판매가 확대되는 것도 이 전략에 힘을 실어준다. 턴키 솔루션은 고객이 바로 사용할 수 있도록 전체 시스템을 통째로 공급하는 방식을 말한다. 부품 하나의 가격이 올라도 전체 서버 가격 안에 녹아들기 때문에 고객의 가격 저항이 상대적으로 낮아질 수 있다.

결국 엔비디아는 GPU 독점력을 직접 가격 인상으로만 행사하기보다, 메모리와 통합 서버 플랫폼을 통해 AI 인프라 마진을 추가로 가져오는 방향을 택할 가능성이 있다.

AI 산업의 ‘중앙은행’이 된 엔비디아

이 지점에서 엔비디아의 역할은 단순한 반도체 공급사를 넘어선다. AI 산업에서 누가 얼마만큼의 부가가치를 가져갈지 조율하는 일종의 ‘중앙은행’ 같은 위치에 가까워지고 있다.

중앙은행이 금리와 유동성을 조절해 경제 전체의 자금 흐름에 영향을 주듯, 엔비디아는 AI 서버 공급가와 메모리 가격을 통해 산업 내 마진 배분에 영향을 줄 수 있다. 공급 가격을 낮게 유지하면 LLM 기업과 클라우드 기업이 더 많은 이익을 가져가고, 최종 고객은 더 낮은 토큰 가격으로 AI를 사용할 수 있다. 반대로 엔비디아가 서버 공급가를 높이면 AI 산업에서 발생하는 부가가치의 더 큰 몫이 엔비디아 쪽으로 이동한다.

물론 엔비디아가 일부 마진을 더 가져간다고 해서 곧바로 AI 생태계 전체가 흔들리는 것은 아니다. AI 수요 자체가 빠르게 성장하고 있고, 차세대 GPU가 도입되면 토큰 생산 비용은 더욱 낮아질 가능성이 높다. 전체 파이가 커지는 속도가 빠르기 때문에 단기적으로는 여러 참여자가 동시에 이익을 볼 수 있는 구간이 유지될 수 있다.

문제는 시장의 기대치가 이미 지나치게 높다는 점이다. 월스트리트는 LLM 기업들이 토큰 사용량 증가와 생산비 하락을 바탕으로 장기적으로 높은 매출총이익률을 달성할 것으로 기대하고 있다. 매출총이익률은 매출에서 제품이나 서비스를 제공하는 데 직접 들어간 비용을 뺀 뒤 남는 비율이다. AI 기업의 경우 모델 학습비처럼 큰 비용이 별도로 존재하지만, 추론 서비스만 놓고 보면 수익성이 계속 개선될 것이라는 기대가 밸류에이션에 반영돼 있다.

이 기대가 너무 높으면 작은 변수에도 주가와 기업가치가 크게 흔들릴 수 있다. 엔비디아가 마진을 일부 가져가는 것만으로도 LLM 기업의 장기 수익성 전망이 낮아졌다고 해석될 수 있기 때문이다.

대형 IPO가 부를 유동성 리스크

여기에 초대형 기업공개(IPO) 변수도 겹쳐 있다. IPO는 비상장 기업이 주식을 공개시장에 상장해 투자자금을 조달하는 절차다. 스페이스X, 앤트로픽, 오픈AI 등 시장의 관심이 집중된 기업들이 상장을 추진하면서 AI와 우주 산업에 몰려 있던 위험자본의 흐름이 크게 재편될 수 있다.

대형 IPO가 잇따르면 투자자들은 기존에 보유하던 빅테크나 엔비디아, 클라우드 기업 주식을 일부 정리하고 새로 상장하는 AI 순수 기업으로 자금을 옮길 수 있다. 시장 전체의 돈이 무한하지 않은 만큼, 초대형 공모는 다른 자산의 유동성을 흡수하는 효과를 낳을 수 있다.

유동성이 넉넉하고 시장 분위기가 좋을 때는 큰 문제가 되지 않을 수 있다. 그러나 지정학적 리스크, 실적 부진, 사용자 성장 둔화, 매출 목표 미달 같은 악재가 겹치면 이야기가 달라진다. 이미 높은 밸류에이션을 인정받은 기업일수록 작은 실망에도 조정 폭이 커질 수 있다.