AI도 '안전 검사' 받는다…카카오, 3단계 안전 평가 체계 가동

|스마트투데이=최아랑 기자| 카카오가 인공지능안전연구소와 손잡고 AI 모델의 잠재적 위험을 식별하는 체계적인 검증 기반 구축에 나선다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 업무협약(MOU)을 체결했다고 29일 밝혔다.

최근 AI 기술이 빠르게 발전하면서 모델이 생성할 수 있는 유해하거나 편향된 결과물을 사전에 차단하는 AI 안전성의 중요성이 커지고 있다. 카카오는 지난해 이 연구소와 자체 언어모델 'Kanana-1.5-9.8B'를 대상으로 공동 안전성 평가를 진행해 성능과 안전성을 점검한 바 있다.

양사는 이번 협약을 통해 기존 AI 언어모델뿐만 아니라 'AI 에이전트'까지 객관적인 평가 기반을 구축한다. 여기서 AI 에이전트란 사용자의 명령을 단순히 인식하는 것을 넘어, 스스로 상황을 판단하고 주어진 목표에 맞춰 독립적으로 작업을 수행하는 능동형 인공지능을 뜻한다. 스스로 판단을 내리는 만큼 안전성 검증이 필수적인 영역이다.

협약에 따라 카카오는 평가 대상 AI 모델과 에이전트, 인프라를 제공하며, 인공지능안전연구소는 평가 수행과 방법론 개발을 맡는다. 양사는 평가 결과를 공동으로 검토하고 추후 자체적인 평가 도구도 함께 개발할 예정이다.

구체적인 협력은 총 3단계로 진행된다. 우선 언어모델 배포 전·후 안전성 평가를 수행하고, 이후 멀티모달 언어모델과 AI 에이전트까지 평가 범위를 넓힌다. 멀티모달 언어모델은 텍스트뿐만 아니라 이미지, 음성, 영상 등 다양한 형태의 데이터를 동시에 이해하고 처리할 수 있는 차세대 AI 기술이다. 처리하는 데이터가 복잡한 만큼 더욱 세밀하고 고도화된 안전성 검증이 요구된다. 마지막 단계에서는 이러한 모델들을 효율적으로 검증할 수 있는 범용 평가 도구를 공동 개발한다.

이번 협약은 AI 기술의 위험성을 미리 파악하고, 전문 연구기관과의 협업을 통해 신뢰할 수 있는 생태계를 조성한다는 데 의미가 있다.

카카오 김세웅 AI 시너지 성과리더는 "이번 협력을 통해 카카오 AI 모델이 더욱 객관적이고 엄격한 안전성 검증 체계를 갖추게 됐다"며 "앞으로도 기술 혁신과 함께 안전성과 신뢰를 최우선으로 하는 AI 모델과 서비스를 제공하기 위해 지속적으로 노력하겠다"고 말했다.

인공지능안전연구소 김명주 소장은 "AI 기술이 고도화될수록 잠재적 위험을 선제적으로 식별하고 평가하는 체계가 무엇보다 중요하다"며 "카카오와의 협력을 통해 글로벌 표준에 부합하는 AI 안전성 평가 체계를 구축하는 데 최선을 다하겠다"고 말했다.

한편 카카오는 kt cloud와 안전한 AI 생태계 구축을 위한 업무협약을 맺고, 외부 전문가로 구성된 'AI&기술윤리소위원회' 자문단을 운영하는 등 AI 안전성을 높이기 위한 다방면의 활동을 이어가고 있다.