①"토큰은 새로운 상품"…엔비디아가 설계하고 애플이 완성할 'AI 추론 경제'

|스마트투데이=우세현 기자| 최근 시장에서는 "애플의 시대는 갔다"는 성급한 진단이 쏟아졌다. 갤럭시의 깔끔한 사진 편집 기능과 비교되는 조악한 결과물, AI 비서 경쟁에서 한참 뒤처진 듯한 '시리(Siri)'의 모습은 애플 위기론에 불을 지폈다. 하지만 기술의 도약기마다 늘 그러했듯, 승부의 본질은 눈에 보이는 인터페이스 너머에서 요동치고 있다.

지금 AI 산업은 모델을 만드는 '훈련(Training)'의 시대를 지나, AI를 활용해 실질적 생산성을 창출하는 '추론(Inference)'의 시대로 진입하고 있다. 이 패러다임의 변화 속에서 애플이 단순한 하드웨어 제조사를 넘어 'AI 유통 플랫폼'이라는 새로운 영역을 개척하며 산업 내 확고한 키 플레이어로 도약할 것이라는 분석이 나온다.

'토큰 경제'의 도래, AI 팩토리가 찍어낼 새로운 상품

엔비디아의 젠슨 황 CEO는 최근 AI를 정의하며 "토큰은 새로운 상품(Commodity)"이라는 화두를 던졌다. 과거 제조업 시대에 전기를 써서 공장을 돌려 물건을 만들었듯, 이제는 전기를 써서 '토큰'이라는 재화를 생산한다는 논리다.

우리가 챗GPT에 던지는 질문에 돌아오는 단어 하나하나, 시각 자료를 분석하는 격자 하나하나가 모두 토큰이다. 이 토큰을 얼마나 많이, 얼마나 저렴하게 생산하느냐가 AI 기업의 실질적인 생산성을 결정한다. 업계가 '시간당 GPU 대여료'라는 단편적 지표를 버리고, '토큰당 비용(Cost per Token)'이라는 개념에 주목하기 시작한 이유다.

'메모리 장벽'에 가로막힌 AI 생산성

하지만 토큰 경제를 가로막는 치명적인 기술적 한계가 존재한다. 바로 '메모리 장벽(Memory Wall)'이다. AI의 연산 속도는 비약적으로 빨라졌지만, 데이터를 공급하는 메모리 반도체의 속도는 그 발걸음을 맞추지 못하고 있다.

트렌드포스에 따르면, 최근 2년간 AI 프로세서의 연산 능력은 3배 늘었으나 메모리 대역폭은 1.6배 성장하는 데 그쳤다. AI가 답변을 한 자씩 생성하는 '디코드(Decode)' 과정에서 프로세서는 메모리가 데이터를 보내줄 때까지 손을 놓고 기다리는 '유휴 상태'에 빠진다. 비싼 GPU를 들여놓고도 생산 효율이 뚝뚝 떨어지는 비극이 여기서 발생한다. 반도체 업계가 신기술 개발에 사활을 걸고 있지만, 프로세서와 메모리 사이의 깊은 간극은 좀처럼 좁혀지지 않고 있다.

중앙집권에서 '지방자치'로… 온디바이스 AI의 부상

이러한 메모리 병목과 천문학적인 클라우드 운영 비용을 타개할 탈출구로 지목되는 것이 '온디바이스(On-Device) AI'다. 모든 연산을 중앙 데이터 센터에서 처리하던 방식에서 벗어나, 개인이 소유한 스마트폰이나 노트북 등 기기 단에서 직접 추론을 수행하는 'AI 지방자치제'로의 전환이다.

온디바이스 AI는 클라우드를 거치지 않기에 개인정보 보호와 저지연성(Latency) 측면에서 압도적 우위를 점한다. 무엇보다 사용자 입장에서는 별도의 월 구독료 없이 기기의 배터리만으로 AI를 무한히 구동할 수 있다는 비용적 메리트가 크다. 물론 기기 성능의 한계로 인해 대형 모델(LLM)보다는 소형 모델(SLM) 위주로 구동된다는 제약은 있지만, 기술적 진보와 함께 클라우드와 기기가 역할을 나누는 '하이브리드 AI' 체제는 거부할 수 없는 흐름이 됐다.

결국 미래 AI 시장의 패권은 '누가 더 효율적으로 메모리 장벽을 깨고, 온디바이스 환경에서 최적의 토큰 생산 단가를 달성하느냐'에 달려 있다. 그리고 이 지점에서 '느림보'로 비난받던 애플의 독특한 하드웨어 설계가 뜻밖의 강력한 반격 카드로 급부상하고 있다. (2편에서 계속)