독파모는 단순한 순위 경쟁이나 탈락팀 선정을 목적으로 하는 것이 아니라 국내 AI 기업의 성장과 AI 생태계의 질적 성장 및 확장을 견인하는 것을 목표로 추진되고 있다. 과기정통부는 빠른 AI 기술 진화 상황 등을 고려해 6개월마다 AI 모델 개발 목표를 변경하는 '무빙 타깃' 방식으로 프로젝트를 운영하고 있으며, 이에 따라 단계평가 기준과 방식도 매번 정예팀과 협의를 통해 마련하고 있다고 설명했다.
AAII 벤치마크는 Artificial Analysis가 6월 말 공표한 기준을 적용했으며, 평가 결과를 25점 만점으로 환산했다. 모티프테크놀로지스가 11.9점으로 1위를 기록했고 업스테이지 9.4점, SK텔레콤 8.8점, LG AI연구원 7.8점 순이었다.
NIA 벤치마크는 수학, 지식, 장문이해, 안전성, 신뢰성, 한국어, 지시이행 등 7개 분야의 데이터셋을 대상으로 진행됐다. SK텔레콤이 13.4점으로 1위를 차지했으며 업스테이지 13.3점, LG AI연구원 12.8점, 모티프테크놀로지스 12.7점 순으로 집계됐다.
AI 전문 사용자진 평가는 AI에 대한 전문적인 식견과 경험을 갖추고 실제 AI 개발 과정에서 AI 모델을 폭넓게 사용해 본 AI 스타트업 대표들을 대상으로 진행됐다. 이해충돌 확인 등을 거쳐 50명이 선정됐으며 이 가운데 49명이 평가에 참여했다. SK텔레콤이 11.6점으로 1위, LG AI연구원 11.3점, 업스테이지 10.8점, 모티프테크놀로지스 8.4점 순으로 집계됐다.
일반 국민 평가는 국내 주민등록인구 통계를 기준으로 성별·연령별 쿼터를 설정하고 시스템을 통해 무작위로 200명을 선정했다. 실제 평가에는 185명이 참여했다. LG AI연구원이 7.6점으로 1위를 기록했고 SK텔레콤 7.5점, 업스테이지 7.3점, 모티프테크놀로지스 5.7점 순이었다.
5개 평가 결과를 종합한 결과 SK텔레콤이 70.6점으로 1위를 기록했다. 업스테이지는 69.9점으로 2위, LG AI연구원은 69.0점으로 3위, 모티프테크놀로지스는 65.8점으로 4위에 올랐다. 벤치마크 평가에서는 SK텔레콤 22.2점, 업스테이지 22.7점, LG AI연구원 20.6점, 모티프테크놀로지스 24.6점을 기록했다. 전문가 평가는 각각 29.3점, 29.1점, 29.5점, 27.1점이며 사용자 평가는 19.1점, 18.1점, 18.9점, 14.1점으로 집계됐다.
과기정통부는 "이번 결과 공개 이후에도 기업들이 단순한 점수나 순위보다 보유한 역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하고, 경쟁력 있는 AI 기업들이 지속적으로 도전하는 역동적인 생태계로 발전해 나가기를 기대한다"라고 밝혔다.
서삼광 기자 (seosk@dailygame.co.kr)
