피지컬 AI 승부처는 ‘데이터 퍼스트’…최홍섭 대표 “모델부터 만들면 늦는다”

|스마트투데이=박재형 기자| 최홍섭 마음AI 기술총괄 대표는 지난 3일 스마트투데이와의 인터뷰에서 피지컬 AI 상용화의 출발점은 완성된 인공지능(AI) 모델이 아니라 산업 현장에서 축적되는 작업 데이터라고 강조했다. 로봇을 현장에 먼저 배치해 데이터를 모으고 이를 토대로 모델을 발전시켜야 한다는 것.

최 대표가 피지컬 AI에 주목한 것은 챗GPT를 중심으로 거대언어모델(LLM) 열풍이 본격적으로 확산하던 2023년이다. 그는 이미 달아오른 LLM 경쟁을 뒤쫓기보다 AI가 향할 다음 시장을 남들보다 1~2년 먼저 찾아야 한다고 판단했다.

실마리는 오픈AI의 휴머노이드 로봇 스타트업 투자였다. 최 대표는 “오픈AI가 LLM으로 채팅이나 챗봇을 만드는 데서 끝나는 게 아니라 결국 로봇까지 가겠다고 생각했다”며 “피지컬 AI가 진짜 큰 시장이고 AI의 최종 목적지라고 판단했다”고 밝혔다.

최 대표는 서울대학교 물리학부를 졸업하고 같은 대학 행정대학원을 거쳤다. 현재는 마음AI 기술총괄 대표로 재직하며 피지컬 AI 기술 개발과 상용화를 이끌고 있다. 마음AI는 2014년 설립되어 멀티모달 및 피지컬 AI 기술을 개발하는 기업이다.

언어 넘어 현실로…‘몸’을 얻는 AI

피지컬 AI는 대규모 데이터로 학습한 지능형 모델이 현실 세계를 이해하고 로봇이나 자동차 등 물리적 기기의 행동을 스스로 결정하는 AI다. 정해진 동작을 반복하는 규칙 기반의 로봇과 달리 주변 상황과 명령의 맥락을 파악해 행동하는 것이 핵심이다.

최 대표가 설명하는 피지컬 AI의 발전 과정은 AI가 현실 세계를 보고 움직일 수 있는 ‘몸’을 얻어가는 흐름이다. 텍스트를 이해하던 LLM이 이미지까지 인식하는 시각언어모델(VLM)로 확장되며 눈을 갖췄고, 여기에 로봇을 제어하는 기능이 더해지면서 시각언어행동모델(VLA·Vision-Language-Action)로 발전했다.

최 대표는 피지컬 AI의 가장 큰 시장으로 제조업을 꼽았다. 로봇이 대규모로 투입돼 인간이 맡던 육체노동을 수행할 수 있는 현장이 바로 공장이기 때문. 그는 한국이 미국·중국을 제외하면 상대적으로 괜찮은 피지컬 AI 경쟁력을 가지고 있으며, 이 시장이 아직 초기인 만큼 추격할 여지가 있다고 평가했다. 다만 투자 규모의 절대적인 차이가 지속되면 기술 격차가 점차 벌어질 수 있다고 우려했다.

상상하는 두뇌 ‘월드 모델’

VLA가 보고 이해한 것을 행동으로 옮기는 지능이라면, 월드 모델은 특정 행동을 했을 때 뒤이어 벌어질 일을 미리 상상하고 예측하는 지능이다. 최 대표는 월드 모델을 “물리적인 상식을 갖춘 AI”라고 설명했다.

그는 인터뷰 도중 책상 위의 컵을 예로 들었다. 사람은 컵을 들어 올릴 때 내용물이 쏟아지지 않도록 자연스럽게 수평을 유지한다. 컵을 기울이면 내용물이 쏟아질 것이라는 결과를 실제로 확인하기 전부터 머릿속으로 그릴 수 있어서다. 이렇듯 현실 세계가 어떻게 작동하는지 이해하고 앞으로 일어날 일을 머릿속에서 시뮬레이션하는 능력이 월드 모델이라고 할 수 있다.

월드 모델은 현재 상황을 담은 영상을 보여준 뒤 앞으로 10초 동안 벌어질 일을 비디오로 생성하도록 하는 방식 등으로 연구돼 왔다. 최 대표는 엔비디아의 ‘코스모스’를 대표 사례로 들면서도 “월드 모델의 본질은 비디오를 생성하는 게 아니라 미래에 벌어질 일을 상상하고 물리적인 상식을 이해하는 것”이라고 덧붙여 설명했다.

그는 LLM에서 출발한 VLA와 별도로 발전해 온 월드 모델이 결국 하나로 합쳐질 것으로 전망했다. 사람의 두뇌가 미래를 상상하는 능력과 실제 행동하는 지능을 함께 갖고 있듯 로봇도 상상과 행동을 하나의 지능 안에서 수행해야 한다는 설명이다.

두 기능을 결합한 것이 ‘월드 액션 모델’이다. 현재 마음AI는 과학기술정보통신부 과제로 이 모델을 개발하고 있다. 최 대표는 연내 월드 액션 모델 공개를 목표로 제시했다. 다만 성능에 대해서는 “분명히 로봇의 행동은 나아질 것으로 생각하지만 어느 정도까지 가능할지는 해봐야 안다”며 “결국 목적은 로봇이 행동을 더 잘하게 하는 것”이라고 전했다.

‘모델 퍼스트’→‘데이터 퍼스트’

로봇이 현실을 이해하고 행동하려면 실제 작업을 담은 데이터가 필요하다. 그러나 최 대표는 한국에 공장이 많다는 사실과 피지컬 AI 데이터가 풍부하다는 말은 구분해야 한다고 지적했다.

기존 제조 데이터는 공작기계의 파라미터를 어떻게 설정해야 더 정밀한 제품이 나오는지에 관한 정보가 중심이다. 반면 피지컬 AI 데이터는 사람이 공장에서 부품을 조립하고 설비에서 나온 물건을 집어 옮기는 등 육체노동의 과정과 결과를 담아야 한다.

국내 중소 제조공장에서 일하는 수많은 생산직 근로자의 작업은 이 같은 데이터를 만들 수 있는 잠재력이다. 최 대표는 “근로자들의 일이 로봇의 육체노동 데이터로 환원될 수 있는 잠재적인 캐파(Capa)”라면서도 “이미 데이터가 갖춰져 있어 가져다 쓰기만 하면 되는 것이 아니라 이제부터 모아야 한다”고 말했다.

그가 피지컬 AI의 산업 현장 적용 시점을 묻는 질문을 “질문 자체가 난센스”라고 표현한 이유도 이 지점에 있다. 가령 공장 경영자는 로봇이 실제로 일을 할 수 있어야 구매하겠다고 요구한다. 반면 AI 기업은 해당 작업을 학습한 데이터가 없기 때문에 로봇을 먼저 현장에 투입해야 데이터를 수집할 수 있다고 답한다. 데이터가 없어 로봇이 일을 못 하고, 로봇이 현장에 들어가지 못해 데이터도 쌓이지 않는 구조다.

최 대표가 제시한 해법은 ‘모델 퍼스트’에서 ‘데이터 퍼스트’로 순서를 바꾸는 것이다. AI 모델이 완성되기 전에 로봇을 우선 공장에 배치하고 사람이 로봇을 조종해 작업을 수행하게 한다는 구상이다.

초기에는 사람이 로봇을 조종하는 만큼 로봇이 벌어들인 대가를 인간 조종자에게 지급해야 하는 비효율이 발생한다. 하지만 사람이 로봇을 조종하는 과정에서 쌓인 데이터를 모델 학습에 활용할 수 있다. 최 대표는 “평생 그렇게 할 것이라면 사람이 직접 일하면 되지 왜 로봇을 조종하느냐고 생각할 수 있지만, 로봇이 일을 하는 것 자체가 데이터 수집 과정”이라고 설명했다.

이 학습 방식의 실제 사례로는 테슬라의 완전자율주행(FSD)을 들었다. 테슬라가 완벽한 자율주행 모델을 만든 뒤 차량을 판매한 것이 아니라 카메라와 고성능 반도체를 탑재한 차량부터 보급하고, 사람들이 실제로 운전하는 데이터를 모아 모델을 학습했다는 것. 그는 “AI는 결국 이렇게 만들어진다”며 “데이터를 먼저 만들어야 모델이 나온다”고 역설했다.

마음AI, 피지컬 AI 상용화 ‘풀스택’ 공략

최 대표가 몸담고 있는 마음AI는 세계 최고 성능의 단일 AI 모델이나 로봇 하드웨어를 만드는 것보다 피지컬 AI를 실제 산업 현장에 적용하는 데 필요한 전체 솔루션을 제공하는 데 초점을 맞추고 있다. 회사에서는 이를 ‘피지컬 AI 풀스택’이라고 부른다.

그는 대중에게 보이는 로봇과 AI 모델은 피지컬 AI 생태계의 ‘빙산의 일각’이라고 평가했다. 로봇 한 대를 구매하고 공개된 AI 모델을 적용한다고 곧바로 공장에서 일할 수 있는 것은 아니라는 설명이다. 실제 상용화를 위해서는 데이터를 수집·가공하는 파이프라인과 현실의 작업 환경을 구현하는 시뮬레이터, AI 모델을 로봇에서 구동하는 온디바이스 반도체, 통신 시스템 등이 함께 갖춰져야 한다.

그는 “로봇과 AI 모델만 있으면 될 것 같지만 실제로 (피지컬 AI를) 시작해 보면 데이터를 어떻게 모을지, 시뮬레이터는 어떻게 만들지, 온디바이스는 어떻게 구현할지를 맞닥뜨린다. 하다 보면 배보다 배꼽이 더 커진다”고 전했다.

이에 최 대표는 마음AI의 피지컬 AI 전략을 기술 자체보다 산업 현장에서 실제 가치를 만들어내는 상용화에 방점을 찍었다. 현장에 로봇을 먼저 투입해 데이터를 수집하고 이를 토대로 모델을 고도화하는 데이터 퍼스트를 통해, 수억원대 프로젝트를 넘어 로봇을 1000대·1만대·10만대 단위로 확장할 수 있는 사업 모델을 만들겠다는 구상이다. 이를 위해 로봇과 AI 모델, 시뮬레이터, AI 반도체 등을 연결하는 풀스택 역량이 필요하다고 강조했다.

최 대표는 “중요한 것은 결국 산업 현장에 로봇이 들어가 일을 할 수 있느냐”라며 “우리나라에도 좋은 AI 기업과 로봇 기업이 있지만 따로 움직이는 것이 문제다. AI 회사와 로봇 회사가 한 팀이 되고 여기에 조 단위 투자가 들어가야 미국·중국과의 경쟁에서 이길 수 있다”고 전했다.