세계 최고 '클로드' 대입해도 3위…독파모 배점 산정 방식 논란

|스마트투데이=김나연, 최아랑 기자| 정부의 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 단계평가에서 글로벌 최고 수준의 모델을 내세워도 통과를 장담하기 힘든 배점 방식이 도마 위에 올랐다. 객관적인 기술 성능보다 전문가와 사용자의 주관적 평가가 전체 당락을 갈랐기 때문이다. 특히 향후 계획 등 정성 지표의 비중이 과도하게 반영되면서, 정량 벤치마크 1위를 차지한 모티프테크놀로지스(이하 모티프)가 탈락하는 역전 현상이 빚어졌다.

과학기술정보통신부가 지난 27일 공개한 세부 평가 결과에 따르면, 모티프는 AAII와 NIA를 합산한 벤치마크 평가에서 24.6점을 받아 4개 정예팀 중 1위를 차지했다. 그러나 전문가 평가(27.1점)와 사용자 평가(14.1점)에서 모두 최하위에 머물며 총점 65.8점으로 탈락했다. 반대로 벤치마크 평가에서 20.6점으로 4위에 그쳤던 LG AI연구원은 전문가 평가 1위(29.5점), 사용자 평가 2위(18.9점)를 기록하며 총점 69.0점으로 다음 단계 진출에 성공했다.

모티프는 지난 27일 공식 이의를 제기하고 벤치마크 배점 산정 방식과 주관적 평가의 세부 기준 및 판단 근거 공개를 요구했다. 모티프는 독파모 사업의 본래 목적이 글로벌 프런티어급 파운데이션 모델을 확보하는 데 있는 만큼, 정부가 제시했던 성능 목표에 부합하는 합리적인 평가가 이뤄졌는지 투명하게 밝혀야 한다는 입장이다.

모티프 모델 성능을 동일 벤치마크 기준 글로벌 1위 수준까지 끌어올렸다고 가정해도, 최종 점수 상승분은 3.4점에 그치는 것으로 나타났다. 반면 25점 만점인 사용자 평가에서는 최고점과 최저점 간 격차가 5.0점까지 벌어졌다. 측정 가능한 정량 모델 성능(40점)보다 전문가·사용자 평가(60점)의 비중이 더 컸던 데다, 전문가 평가에서 아직 실현되지 않은 미래 계획에 큰 배점을 부여하면서 정량 1위였던 모티프가 종합 최하위로 밀려나게 됐다.

세계 1위급 모델보다 더 셌던 사용자 평가

이번 독파모 평가에 과학기술정보통신부가 채택한 AAII v4.1 기준, 당시 글로벌 벤치마크 1위였던 앤트로픽의 클로드 오퍼스 5 맥스(Claude Opus 5(max))를 그대로 적용해도 최종 순위는 3위에 그치는 것으로 나타났다. 현존하는 세계 최고 수준의 모델을 가져와도 정성평가의 벽을 넘지 못하고 탈락하는 구조였던 셈이다.

당시 리더보드에서 61점으로 세계 1위를 기록한 클로드 오퍼스 5 맥스의 원점수를 25점 만점으로 환산하면 15.25점이다. 모티프의 기존 원점수 47.4점(환산 11.85점) 대신 세계 1위 모델의 점수를 얹어 추가로 확보할 수 있는 점수는 3.4점에 불과하다. 이를 모티프의 총점(65.8점)에 더해도 69.2점으로, SK텔레콤(70.6점)과 업스테이지(69.9점)에 밀려 3위에 머문다.

반면 25점이 배정된 사용자 평가에서는 1위 SK텔레콤(19.1점)과 최하위 모티프(14.1점) 간 격차가 5.0점에 달했다. 세계 1위 모델을 투입해 얻을 수 있는 점수(3.4점)보다 사용자 평가 단일 항목에서 벌어진 실질 격차가 1.6점 더 컸다.

정성평가에서 가장 낮은 점수를 받은 LG와 비교하면 차이는 더 두드러진다. 모티프가 AAII 점수를 47.4점에서 클로드 오퍼스 5 맥스 수준인 61점으로 끌어올리면 3.4점이 추가된다. 반면 모델 성능은 그대로 두고 사용자 평가에서 LG와 같은 18.9점을 받는다고 가정하면 4.8점이 추가된다. 기술적 완성도보다 사용자 평가 결과가 순위에 미치는 영향력이 더 컸던 셈이다.

이에 40점 만점인 정량 벤치마크의 변별력은 크게 줄어든 반면, 전문가 평가(35점)와 사용자 평가(25점)를 합친 60점의 정성평가가 당락을 좌우하는 구조였다는 지적이 나온다.

벤치마크 격차는 줄고, 전문가·사용자 평가가 순위 뒤집었다

배점 환산 방식도 성능 격차를 축소하는 데 영향을 미쳤다. AAII 원점수에서 모티프는 47.4점으로 1위를 차지했고 업스테이지(37.4점), SK텔레콤(35.0점), LG(31.0점)가 뒤를 이었다. 1위 모티프와 4위 LG의 원점수 차이는 16.4점으로 모티프 점수가 LG보다 52.9% 높았다. 하지만 과기정통부는 AAII 원점수(100점 만점)를 25점 만점으로 단순 환산했다. 이에 따라 모티프는 11.9점, LG는 7.8점으로 반영돼 실제 16.4점이던 격차가 최종 평가에서는 4.1점으로 줄어들었다.

모티프는 “이번 평가의 배점 산정 방식은 최고점과 최저점 간의 차이를 상당 부분 축소하는 방식으로 계산됐다”며 “독파모 참여 모델 가운데 1위인 47점과 4위인 31점의 차이 역시 최종 배점으로 환산하면 4점으로 축소된다”고 짚었다.

AAII(25점)와 NIA(15점)를 합친 전체 벤치마크 배점은 40점이다. 실제 결과에서 벤치마크 최고점(모티프 24.6점)과 최저점(LG 20.6점) 간 최대 격차는 4.0점이었다.

반면 사용자 평가 배점은 25점이었지만 실제 최고·최저 격차는 5.0점으로 벤치마크 전체 격차를 웃돌았다. 명목 배점은 벤치마크가 15점 더 높았지만, 순위를 실질적으로 가른 것은 사용자 평가였다.

전체 배점 구조 역시 벤치마크 40점보다 전문가 평가(35점)와 사용자 평가(25점)를 합친 60점이 더 컸다. 정량 벤치마크에서 나타난 성능 차이를 평가자의 판단이 개입되는 전문가·사용자 평가가 뒤집을 수 있는 구조였다. 실제로 모티프는 벤치마크에서 LG를 4.0점 앞섰지만 전문가 평가에서 2.4점, 사용자 평가에서 4.8점 뒤처지며 최종 순위에서 역전을 허용했다.

이미 만든 기술보다 ‘앞으로 할 계획’에 더 큰 배점

전문가 평가(35점)의 세부 배점 구성도 도마 위에 올랐다. 전문가 평가는 △개발 전략 및 기술 10점 △개발 성과 및 계획 10점 △파급효과 및 기여계획 15점으로 구성됐다. 전문가 평가에서는 ‘개발 전략 및 기술’에 10점이 배정된 반면 ‘파급효과 및 기여계획’에는 15점이 배정됐다. 향후 계획을 포함한 후자의 배점이 5점 더 높았다. 개발 성과 및 계획(10점) 항목 역시 이미 이뤄낸 성과와 미래 계획을 함께 묶어 평가했다.

2차 단계평가는 4개 정예팀이 실제 개발한 모델을 제출해 성능 측정이 완료된 상태에서 진행됐다. 모티프가 벤치마크 1위(24.6점), LG가 최하위(20.6점)를 기록했으나 전문가 평가에서는 반대로 LG가 1위(29.5점), 모티프가 최하위(27.1점)를 받았다.

지난 18일 과기정통부가 공개한 2차 단계평가 결과에 따르면 LG는 모델 신뢰성과 위험 요인 관리 외에도 글로벌 국제기구와의 협업 전략 수립 등에서 긍정적인 평가를 받았다. 평가 시점까지 이미 달성한 성과뿐 아니라 향후 추진할 협업 전략도 전문가 평가 내용에 포함된 것이다.

모티프는 “낮은 모델 성능에도 불구하고 높은 파급효과와 기여 가능성을 인정한 것이라면 그 판단 근거 역시 충분히 설명될 필요가 있다”며 “공개된 각 모델의 테크니컬 리포트를 고려하더라도 가장 성능이 낮은 모델이 전문가 평가에서 1위를 차지한 결과를 이해하기 어렵다”며 세부 기준 공개를 요구했다.

브랜드 공개한 사용자 평가…모티프는 블라인드 요청

사용자 평가 방식의 공정성 문제도 제기됐다. 전체 배점의 25%가 걸린 사용자 평가는 전문 사용자 49명(15점)과 일반 국민 185명(10점)이 참여했다.

참가자들은 각 팀의 AI 웹 서비스를 직접 사용한 뒤 사용성 등에 대해 1점부터 5점까지 점수를 부여했다. 그 결과 모티프는 전문 사용자 8.4점, 일반 국민 5.7점으로 합계 14.1점에 그치며 최하위를 기록했다. SK텔레콤(19.1점), LG(18.9점), 업스테이지(18.1점)와 적지 않은 격차를 보였다.

모티프는 평가 전 블라인드 방식을 사전에 요청했다고 밝혔다. 모티프 측은 “대기업과 상대적으로 인지도가 낮은 스타트업이 개발한 모델을 평가할 때 개발사를 사전에 인지하면 브랜드 인지도나 선입견이 평가에 영향을 미칠 가능성을 배제하기 어렵다”고 설명했다.

파운데이션 모델의 본질에 대한 시각차도 드러났다. 모티프는 “파운데이션 모델의 가치는 챗봇의 사용성이 아니라 여러 영역으로 확장 가능한 기반 성능에 있다”며 “모델의 본질적인 성능이 높을 때 사용성을 포함한 확장 가능성도 빠르게 확보할 수 있다”고 강조했다.