래블업, 한국어 LLM 추론 속도 높이는 드래프트 모델 공개

|스마트투데이=김나연 기자|인공지능(AI) 인프라 전문 기업 래블업이 대규모 언어 모델(LLM)의 한국어 답변 속도를 높이는 드래프트 모델 GLM-5.2-NVFP4-DFlash-ko를 지난 9일 오픈소스 플랫폼 허깅페이스에 공개했다.

이번 모델은 z-lab의 DFlash 방식을 적용했다. Z.ai의 오픈 LLM인 GLM-5.2를 엔비디아(NVIDIA)의 4비트 부동소수점 형식(NVFP4)으로 구동할 때 함께 쓰인다. 개발자와 기업은 허깅페이스 래블업 저장소에서 모델을 내려받을 수 있다.

드래프트 모델은 투기적 디코딩(Speculative Decoding)에 쓰이는 소형 모델이다. 작은 드래프트 모델이 다음에 올 단어(토큰) 여러 개를 미리 추측하면, 답변을 생성하는 본 모델이 이를 한 번에 검증해 통과한 토큰만 받아들이는 원리다. 최종 판정은 본 모델이 맡아 품질을 유지하면서도 속도를 높일 수 있다.

그동안 영어 데이터로 학습한 기존 드래프트 모델은 한국어 환경에서 토큰 추측 적중률이 낮아 속도 개선 효과가 떨어졌다. 래블업은 한국어 데이터를 학습시켜 한국어 질의와 에이전트 작업에서도 가속 효과가 유지되도록 했다. 실제 한국어 에이전트 트래픽으로 측정한 결과, 검증 한 번에 받아들여지는 토큰 수의 평균인 평균 수락 길이(MAL)는 에이전트 작업 2.71, 한국어 질의 2.77을 기록했다. 영어 학습 모델이 1.x대에 그쳤던 것과 비교해 영어 DFlash 모델 수준의 성능을 구현했다.

신정규 래블업 대표는 "드래프트 모델이 영어로 학습돼 있으면 한국어 사용자는 투기적 디코딩의 가속 효과를 온전히 얻기 어려웠다. AI 서비스를 만드는 개발자와 기업이 한국어 환경에서도 가속 효과를 얻을 수 있도록 한글날에 맞춰 한국어 드래프트 모델을 공개한다"며 "래블업은 AI 인프라 소프트웨어를 만들며 쌓은 경험을 바탕으로 한국어 모델 개발까지 사업 범위를 넓히고 있다"고 말했다.

래블업은 이번 공개에 이어 Z.ai의 GLM-5.3-Flash용 한국어 드래프트 모델도 개발하고 있다. 아울러 로컬 기기에서 에이전트 작업에 활용할 수 있는 약 110억(11B) 파라미터 규모의 온디바이스 한국어 디퓨전 언어 모델도 자체 학습 중이다. 모델 학습에는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 첨단 GPU 활용 지원 사업으로 지원받은 자원을 포함해 B200 64장 규모의 GPU 클러스터가 투입된다.

한편 래블업은 증권신고서를 제출하고 코스닥 상장을 위한 공모 절차를 밟고 있다. 오는 10월 13일부터 10월 19일까지 기관투자자 대상 수요예측을 진행할 예정이다.