세계 최고 '클로드' 대입해도 3위…독파모 배점 산정 방식 논란

글로벌 1위 모델 더해도 고작 69.2점…SKT·업스테이지 밀려 종합 3위 40점 벤치마크 최대 격차 4.0점인데…25점 사용자 평가 격차는 5.0점

정부의 독자 AI 파운데이션 모델 프로젝트 2차 단계평가에서 글로벌 최고 수준의 모델을 내세워도 통과를 장담하기 힘든 배점 방식이 도마 위에 올랐다. 객관적인 기술 성능보다 전문가와 사용자의 주관적 평가가 전체 당락을 갈랐기 때문이다. 특히 향후 계획 등 정성 지표의 비중이 과도하게 반영되면서, 정량 벤치마크 1위를 차지한 모티프테크놀로지스 가 탈락하는 역전 현상이 빚어졌다. 과학기술정보통신부가 지난 27일 공개한 세부 평가 결과에 따르면, 모티프는 AAII와 NIA를 합산한 벤치마크 평가에서 24. 6점을 받아 4개 정예팀 중 1위를 차지했다. 그러나 전문가 평가(27. 1점)와 사용자 평가(14. 1점)에서 모두 최하위에 머물며 총점 65. 8점으로 탈락했다. 반대로 벤치마크 평가에서 20.