리벨리온, SKT 핵심 서비스 4곳에 NPU 심었다

|스마트투데이=최아랑 기자| AI 반도체 기업 리벨리온은 자사의 NPU가 SK텔레콤 상용 AI 서비스 4개의 핵심 기능에 확대 적용됐다고 21일 밝혔다.

여기서 NPU(Neural Processing Unit, 신경망처리장치)란 인공지능의 핵심인 딥러닝 알고리즘 연산에 최적화된 맞춤형 반도체를 뜻한다. 범용으로 널리 쓰이는 기존 GPU(그래픽처리장치)에 비해 전력 소모가 적으면서도 AI 연산 속도가 빠르다는 장점이 있다.

리벨리온의 NPU는 2025년 12월 '에이닷 통화요약'에 첫 상용 적용된 이후, 반년여 만에 에이닷 음성합성기능(스트리밍 TTS), AI 고객센터(AICC), '스캠뱅가드’ 미끼문자 탐지 기능까지 적용 범위가 확대됐다.

양사는 지난해 6월 SK텔레콤 주요 AI 서비스에 국산 NPU를 적용하기 위한 테스트에 착수했다. 이후 같은 해 12월 에이닷 통화요약의 ‘관계추정 기능’에 리벨리온의 AI 반도체 '아톰맥스(ATOM-Max)' 기반 서버가 도입돼 현재까지 안정적으로 구동 중이다.

에이닷 통화요약의 운영 실적을 바탕으로 리벨리온은 올 6월부터 순차적으로 ▲에이닷 통화요약 '한 줄 요약 기능' ▲에이닷 '음성합성기능' ▲AICC '상담 후처리 및 검색 시스템' ▲스캠뱅가드 '미끼문자 탐지 기능'에 NPU를 도입했다. 현재 이들 4개 서비스에서 리벨리온 인프라가 감당하는 실시간 AI 트래픽은 하루 약 1400만 건에 달한다. 이를 토큰 단위로 환산하면 하루 40억 개를 넘는 규모다.

'토큰(Token)'은 AI 모델이 텍스트를 인식하고 처리하기 위해 문장을 쪼개는 가장 작은 단위를 의미한다. 일일 토큰 처리량이 수십억 개에 달한다는 것은 그만큼 방대한 언어 데이터를 끊김 없이 실시간으로 소화할 수 있는 강력한 인프라 역량을 갖췄음을 보여준다.

리벨리온은 NPU의 저지연·고성능 연산 능력을 바탕으로, 텍스트 생성과 동시에 문장 단위로 즉시 음성을 합성하는 '에이닷 스트리밍 TTS' 등 실시간 서비스를 구동하고 있다. 또한 '스캠뱅가드'가 서비스 중단 없이 신종·변종 사기 문자 탐지 모델을 신속하게 적용할 수 있도록 지원한다.

리벨리온의 NPU를 적용함으로써 SK텔레콤은 AI 모델의 크기와 성능 특성에 따라 GPU와 NPU를 재배치해 전사 컴퓨팅 자원을 효율화하고 있다. NPU 수십 대를 묶은 'NPU 팜(Farm)'을 구성하고 사내 여러 서비스가 동일한 자원을 공유하는 풀(Pool) 방식으로 인프라 운영 효율을 높였다.

리벨리온 박성현 대표는 "지난 1년은 국산 NPU가 '가능성'에서 '검증된 인프라'로 넘어온 시간이었다. 국민이 매일 쓰는 서비스 4개가 리벨리온 인프라 위에서 안정적으로 돌아가고 있다는 사실이 무엇보다 확실한 증거"라며 "앞으로도 대규모 상용 운영 실적을 바탕으로 국내외 AI 서비스의 저변을 넓혀 나가겠다"고 말했다.

SK텔레콤 박병관 Core플랫폼담당은 "AI 컴퓨팅 수요가 증가함에 따라 GPU뿐만 아니라 리벨리온의 NPU를 적극 도입하여 활용하고 있다. AI 서비스 태스크별 특성에 맞춰 GPU와 NPU를 선별적으로 활용 및 재배치해 전사 AI 자원 활용의 효율성을 높였다”며, “앞으로도 NPU팜을 확대하여 국산 NPU 반도체 활용 시너지를 극대화하고, 사내외 AI 컴퓨팅 수요에 기민하게 대응할 예정이다”라고 말했다.

리벨리온은 SK텔레콤의 AI 파운데이션 모델 ‘A.X K1’ 구동에 이어 이번 상용 서비스 확대까지 성공시키며 소버린 AI의 실용화 사례를 추가했다. '소버린(Sovereign) AI'란 국가나 기업이 해외 빅테크의 기술에 의존하지 않고 자체 데이터와 인프라를 활용해 독립적으로 구축한 인공지능 체계를 뜻한다. 리벨리온은 향후 검증된 트래픽 처리 역량을 바탕으로 금융·통신·공공 등 다양한 산업으로 NPU 인프라 공급을 넓혀갈 계획이다.