카카오, 경량 언어모델 'Kanana-2' 안전성 평가 결과 공개…글로벌 모델 상회

|스마트투데이=최아랑 기자| 카카오가 오픈소스로 공개한 경량 언어모델(SLM) 'Kanana-2' 시리즈의 안전성 평가 결과를 18일 공개했다고 밝혔다.

카카오에 따르면 한국어 특화 안전성 벤치마크 'AssurAI'로 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct' 두 모델의 유해성·편향성을 측정한 결과, 두 모델 모두 유사 규모의 글로벌 모델 대비 종합 1위를 기록했다.

AssurAI는 과학기술정보통신부 사업의 일환으로 TTA, KAIST, 카카오가 지난해 11월 공동 구축한 벤치마크로, 35개 리스크 카테고리 9560건의 평가 항목으로 구성됐다.

비교 대상은 구글 '젬마'와 알리바바 '큐웬'이었다. 1.3B 모델은 종합 점수 0.70으로 젬마(0.68), 큐웬(0.58)을 앞섰고, 3B 모델도 0.70을 기록해 젬마(0.66), 큐웬(0.62)보다 높았다.

대분류별로는 1.3B 모델이 범죄·불법 행위 영역에서, 3B 모델이 성적 콘텐츠·아동보호와 권리 침해 영역에서 각각 우위를 보였다.

카카오는 향후 공개되는 자체 개발 인공지능(AI) 모델 전반에 상시 사전 안전성 평가를 확대 적용하고, 평가 범위도 멀티모달과 에이전틱(Agentic) AI 리스크 영역까지 넓혀갈 계획이라고 밝혔다.

앞서 과학기술정보통신부는 지난해 12월 인공지능안전연구소, 한국정보통신기술협회(TTA)와 함께 같은 AssurAI 데이터셋으로 카카오 '카나나 에센스 1.5'의 안전성을 평가해 라마 3.1, 미스트랄 0.3보다 높은 점수를 확인한 바 있다.