크래프톤, 게임 AI 수행 능력 평가 벤치마크 'Orak' 공개더팩트 기사제공: 2025-06-16 11:12:02

크래프톤이 대규모언어모델(LLM) 기반 AI 에이전트의 게임 수행 능력을 정량적으로 평가할 수 있는 벤치마크 'Orak'을 공개했다. 사진은 Orak 게임 AI 플레이 점수 순위표 /크래프톤

[더팩트ㅣ조소현 기자] 크래프톤이 대규모언어모델(LLM) 기반 AI 에이전트의 게임 수행 능력을 정량적으로 평가할 수 있는 벤치마크 'Orak'을 공개했다고 16일 밝혔다. Orak은 '오락'에서 착안한 이름으로, 액션, 어드벤처, RPG, 시뮬레이션, 전략, 퍼즐 등 총 6개 장르의 대중적인 게임 환경에서 AI의 상황 인식, 판단, 행동 결정을 평가하는 체계다.

Orak은 크래프톤이 엔비디아와 공동 개발한 Co-Playable Character(CPC)를 통해 축적한 AI 설계 경험이 반영됐다. Orak을 통해 LLM 기반 AI 에이전트가 복잡한 게임 맥락을 해석하고 적절한 결정을 내릴 수 있는지를 평가할 수 있다.

회사 측은 이 벤치마크를 통해 CPC를 포함한 AI 에이전트의 게임 능력을 반복 검증할 수 있어, AI와 함께 플레이하는 새로운 게임 경험의 혁신을 가속화할 수 있을 것으로 기대하고 있다.

Orak의 핵심 기술은 MCP(Model Context Protocol)다. MCP는 게임 정보를 언어 모델이 이해할 수 있도록 텍스트 기반 정보로 전달하고, 모델의 응답을 게임 내 행동으로 변환하는 역할을 한다. 이를 통해 LLM은 게임 플레이어처럼 작동해, 게임의 상태를 텍스트나 이미지로 받아들여 최적의 행동을 선택할 수 있다. 예를 들어, 액션 게임에서는 장애물의 위치를 인식한 뒤 이동이나 점프와 같은 판단을 수행하게 된다.

크래프톤은 Orak을 통해 AI 기술 연구의 새로운 기준을 제시하고, 관련 기술을 게임 산업을 넘어 다양한 분야로 확장해 나갈 계획이다. 또 LLM 파인튜닝용 데이터셋도 함께 제공한다. 연구자들은 이를 활용해 사전학습된 LLM을 실제 게임 환경에 맞춰 적용하고 최적화할 수 있다.

이강욱 크래프톤 딥러닝 본부장은 "Orak을 기반으로 향후 LLM 에이전트 설계 역량을 겨루는 대회도 기획 중"이라며 "앞으로도 게임 분야에 최적화된 LLM 기술을 지속적으로 고도화해 AI를 통한 게임 플레이 경험의 혁신을 주도해 나가겠다"고 밝혔다.

한편 크래프톤은 올해 세계 최고 권위의 AI 학회인 ICLR과 ICML에 제출한 논문 10편이 채택됐으며, 이 중 3편은 ICLR Spotlight에 선정됐다. 글로벌 AI 연구 생태계에서도 주목받고 있다는 평가다.

sohyun@tf.co.kr