AI 골라주고 비용까지 관리…SKT '토큰 게이트웨이' 밑그림 들어다 보니

|스마트투데이=최아랑 기자| SK텔레콤(SKT)이 인공지능(AI) 모델 선택부터 업무 수행 범위, 사용량과 비용까지 통합 관리하는 '토큰 게이트웨이' 사업을 추진한다.

28일 SKT에 따르면 정재헌 SKT 최고경영자(CEO)는 지난 8일 구성원 대상 타운홀에서 통신과 AI 서비스, AI 인프라를 연결하는 'SKT 성장 기어' 전략을 발표했다. 당시 기업과 개인 고객의 AI 사용 패턴을 관리하고 적합한 모델과 인프라를 연결하는 토큰 게이트웨이를 신규 사업으로 제시했다.

토큰 게이트웨이는 다양한 AI 모델과 인프라를 고객의 요청에 맞게 연결해 AI 이용 비용을 효율화하는 사업이다. 고객이 필요한 AI를 보다 편리하게 이용하도록 모델 선택부터 사용량 관리, 비용 산정까지 지원하는 것이 목표다.

토큰은 AI가 문장을 이해하고 답변을 생성할 때 처리하는 기본 단위다. AI 서비스에서는 일반적으로 입력과 출력에 사용된 토큰 수를 기준으로 이용료를 산정한다.

SKT가 구상하는 토큰 게이트웨이는 단순히 여러 AI 모델을 연결하는 데 그치지 않는다. AI가 실제 업무를 대신 수행할 때 어떤 모델을 사용할지, 업무를 어디까지 맡길지, 얼마나 이용했고 얼마를 지불해야 하는지까지 한곳에서 관리하는 방식이다.

SKT 관계자는 "단순한 모델 연결이나 비용 절감에 그치지 않고, AI가 실제 업무를 대신 수행할 때 어떤 모델을 쓸지, 무엇까지 맡길지, 얼마나 썼고 얼마를 내는지를 한 번에 관리하는 것을 지향한다"고 설명했다.

자체 AI 모델과 기존 통신사업의 연계도 추진한다. SKT는 AI 서비스에서 발생하는 수요를 자체 AI 모델로 연결하고, 약 2300만명의 통신 고객 접점과 본인인증·결제·과금 역량을 활용할 계획이라고 밝혔다.

AI 서비스 이용부터 비용 관리까지 통합하는 방향이다.

현재 이동통신업계에서는 AI 이용량을 토큰 단위로 관리하고 수익화하려는 움직임이 이어지고 있다. 글로벌 빅테크들이 거대언어모델(LLM)뿐 아니라 연산 비용이 낮은 소형언어모델(SLM)과 특정 업무에 특화된 AI 모델을 잇달아 선보이면서다. 기업 입장에서는 업무에 따라 적합한 모델을 선택하고 토큰 사용량을 줄이는 것이 비용 관리의 주요 과제가 됐다는 평가다.

KT는 지난 27일 기업용 AI 플랫폼 '토큰팩토리'를 공개하고 오는 30일부터 서비스를 제공한다고 밝혔다. 초기에는 AI 모델 73종을 제공하고 다음 달 글로벌 AI 모델 유통 플랫폼 오픈라우터와 연계해 500개 이상으로 확대할 계획이다. 업무 유형과 난이도, 비용 등을 고려해 적합한 모델을 자동으로 선택하고 사용량과 결제 내역을 통합 관리하는 방식이다. KT는 자체 기술을 통해 토큰 사용량을 최대 25% 줄일 수 있다고 설명했다.

LG유플러스 역시 지난 6일 AI 모델 최적화 전문기업 옵트에이아이와 토큰 최적화 기술 개발에 협력한다고 밝혔다. 옵트에이아이가 AI 모델을 가볍고 빠르게 구동하는 기술을 개발하고 LG유플러스가 실제 서비스 환경에서 기술 검증과 적용을 맡는다. 양사는 AI 서비스 운영에 필요한 연산 자원과 비용을 줄이는 것을 목표로 하고 있다.

SKT 관계자는 "향후 기업간거래(B2B)와 기업소비자간거래(B2C) 고객이 필요한 AI를 보다 편리하고 효율적으로 이용할 수 있도록 서비스와 사업 모델을 순차적으로 구체화할 계획"이라며 "세부 내용은 적절한 시점에 안내할 예정"이라고 밝혔다.