글로벌 AI 기업들이 차세대 모델 출시 전 안전성 검증과 활용 범위에 대한 기준을 강화하고 있다. 사이버 공격처럼 실제 피해로 이어질 수 있는 능력이 일정 수준을 넘어설 가능성이 확인되면서, 단순히 모델의 성능을 높이는 것뿐 아니라 이를 통제할 수 있는 환경을 갖췄는지가 배포 여부를 결정하는 주요 요소로 떠오르는 모습이다.

오픈AI는 지난 7일(미국 시간) 공식 블로그를 통해 출시를 준비 중인 신규 AI 모델 '아스트라(Astra)'의 사이버 보안 능력에 대한 초기 평가 결과를 공개했다. 핵심 내용은 차세대 모델의 에이전트형 코딩 및 사이버 보안 능력이 크게 향상됐으며, 자사의 '대비 프레임워크(Preparedness Framework)' 기준에서 사이버 보안 분야 '크리티컬(Critical)' 수준에 도달할 가능성을 배제할 수 없게 됐다고 설명했다.
이는 AI 모델이 중요 시스템의 취약점을 발견하고 이를 실제 공격에 활용할 수 있는 수준을 넘어, 새로운 사이버 공격 전략을 독자적으로 고안하고 실행할 가능성을 의미한다. 사용자의 지시나 개입 없이도 AI가 스스로 보안 위협을 발생시키는 것으로 볼 수 있다.

이 같은 능력이 실제 서비스에 적용될 경우 악용 가능성이 문제가 된다. 모델이 인터넷이나 컴퓨터 시스템에 접근할 수 있는 에이전트 형태로 작동하면 취약점 탐색부터 공격 방법 개발까지 자동화할 수 있기 때문이다. 특히 AI는 동일한 작업을 대규모로 반복할 수 있어 기존의 개별 공격보다 피해 규모가 커질 가능성도 있다.

오픈AI는 이에 따라 아스트라(Astra)의 능력에 맞춰 강화된 보안 통제를 적용하고 추가적인 안전성 평가를 진행하기로 했다. 필요한 보안 요건을 충족하지 못하는 일부 내부 활동은 중단했으며, 고성능 모델의 가중치 보호와 격리된 환경에서의 테스트, 네트워크 및 도구 접근 제한, 모니터링과 탐지 체계 강화 등을 추진한다.
오픈AI가 공식적으로 출시 연기를 명시하지는 않았으나, 일부 개발 활동을 중단하고 추가적인 안전성 검증에 들어간 만큼 당초 계획보다 출시 일정이 늦어질 가능성이 제기된다.

비슷한 사례는 앤트로픽에서도 나타났다. 앤트로픽은 사이버 보안 능력을 강화한 '클로드 미토스 프리뷰(Claude Mythos Preview)'를 준비하면서 잠재적인 피해 범위, 이른바 '블라스트 레디어스(blast radius)'가 지나치게 커질 수 있다고 판단해 출시하지 않았다고 밝혔다. 이후 샌드박스와 가상머신, 네트워크 접근 제한 등 모델이 현실 세계에서 행사할 수 있는 영향력을 제한하는 기술을 중심으로 안전장치를 강화하고 있다.

서삼광 기자 (seosk@dailygame.co.kr)