크래프톤이 자체 평가에서 30B 이하 모델 중 한국어 성능 1위를 기록한 음성 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 공개했다.

크래프톤은 29일 음성 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다고 밝혔다. 이번 모델은 과학기술정보통신부의 '독자 AI 파운데이션 모델' 프로젝트에서 SK텔레콤 정예팀과 함께 진행한 2차 연구 성과 중 하나다.
'A.X K2 Raon-Speech'는 210억(21B) 파라미터 규모의 음성 언어 모델이다. 음성 인식과 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역을 대상으로 진행한 자체 평가에서 30B 이하 공개 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가에는 한국어 24개, 영어 22개 등 총 46개 벤치마크가 활용됐다.

이번 모델은 SK텔레콤의 'A.X K2' 소형 언어 모델에 크래프톤이 자체 개발한 음성 인코더와 음성 코덱을 결합한 것이 특징이다. 사람의 음성을 AI가 이해할 수 있는 정보로 변환하고, AI가 생성한 결과를 자연스러운 음성으로 복원하도록 학습했다. 이를 통해 기존 음성 AI 시스템에서 발생하던 감정과 억양 정보 손실을 줄이고, 이용자의 음성 특성을 반영한 자연스러운 답변 생성이 가능하다고 회사는 설명했다.

크래프톤은 지난 4월 AI 모델 브랜드 '라온(Raon)'을 공개하고 음성 언어 모델과 실시간 음성 대화 모델, 텍스트-음성 변환 모델, 비전 인코더 등 4종의 AI 모델을 오픈소스로 선보인 바 있다. 이번 모델은 당시 공개한 음성 언어 모델의 학습 방식을 발전시켜 자체 개발한 음성 인코더와 코덱을 적용한 후속 모델이다.
크래프톤은 이번 연구 성과를 AI 캐릭터 'CPC(Co-Playable Character)' 고도화에도 활용할 계획이다. 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 AI 캐릭터를 구현해 이용자와 AI가 자연스럽게 상호작용하는 게임 경험을 제공한다는 목표를 밝혔다.

크래프톤 이강욱 최고인공지능책임자(CAIO)는 "A.X K2 Raon-Speech는 크래프톤이 AI 파운데이션 기술을 지속적으로 연구하고 고도화한 결과물"이라며 "앞으로도 게임에 필요한 AI 파운데이션 기술을 발전시켜 새로운 게임 경험을 만들어 나가겠다"고 말했다.

서삼광 기자 (seosk@dailygame.co.kr)