[게임캐릭터 신무기 AI]①시뮬레이션 학습하니 프로게이머도 진땀

게임사들의 최대 고민은 게임 이용자의 캐릭터 몰입도를 어떻게 극대화하느냐다.
AI를 활용해 게임 재미를 높인다는 방향성에는 모두가 공감하지만 구체적인 방법을 찾기가 쉽지 않기 때문이다.
게임사들은 다양한 AI 학습 방법론을 적용하는 실험에 잇달아 뛰어들고 있다.

국내 메이저 게임사인 엔씨소프트는 MMORPG(다중접속역할수행게임) ‘블레이드 & 소울’에서 강화학습(Reinforcement Learning)을 적용해 캐릭터를 발전하는 방안을 강구해왔다.
플레이어와의 대결에서 AI는 단순히 미리 정해진 패턴을 따르는 게 아니라 전투 패턴을 실시간으로 학습하고 적응하는 방식이다.
이는 게임 난이도를 조절하는 효과가 있어 플레이어의 재미를 높이게 된다.

엔씨는 이 게임에 완성도 높은 AI를 적용하기까지 여러 난제를 해결해야 했다.
목표는 도전적이면서도 스트레스를 덜 주는 AI 상대를 만드는 것이다.
이를 위해 대량의 플레이어 로그 데이터를 활용했지만 정책 최적화와 복잡한 액션 공간 처리 등 기술적 어려움에 직면했다.

엔씨는 연구조직에 역량을 쏟아 붓다시피했다.
엔씨 연구조직은 크게 바르코와 AI테크센터로 나뉜다.
두 센터에 소속된 전문 연구개발 인력은 200여 명에 달한다.
이 회사 이경종 바르코센터장은 "AI가 사람을 이길 수 있을까란 기대감으로 휴먼 테스트를 진행했지만 학습된 AI는 그저 규칙 AI만 이기는 법을 배웠을 뿐, 이와 다른 방식으로 싸우는 사람에 대해선 전혀 대응하지 못했다"고 어려움을 토로했다.

개발자들은 오랜기간 강화학습 분야를 연구했다.
게임 내 스킬 시스템이 다양해 복잡도가 높았기 때문이다.
한 게임당 평균 사용 스킬, 이동 선택지, 상대 타겟팅, 평균 게임시간을 계산했더니 행동 공간 복잡도가 10의 1800제곱으로 높았다.
행동 공간은 게임 내 주워진 환경에서 가능한 캐릭터의 모든 행동을 뜻하는데, 그 크기가 커질수록 필요한 학습 데이터가 급증한다.
경우의 수가 많다고 여겨지는 바둑의 행동 공간값이 10의 170제곱인 점을 감안하면 게임 캐릭터의 움직임은 자유자재인 셈이다.

AI가 플레이어의 행동을 학습하고 이를 기반으로 다양한 전략을 구사할 수 있도록 하기 위해 엔씨는 AI가 단순히 정해진 경로를 따르는 게 아니라 상황에 맞춰 적응하고 대응하는 능력을 갖추도록 만드는 과정에 집중했다.

이 센터장은 "플레이어의 스타일이 가변적이라 유연한 AI가 필요했다"며 "높은 복잡도에 따른 경우의 수를 줄이기 위해 행동 공간을 축소하는 방법을 강구했다"고 설명했다.

강화학습은 AI가 특정 행동을 했을 때 결과를 바탕으로 최적의 전략을 선택하도록 한다.
다양한 전투 시뮬레이션을 통해 학습하고 발전하며 실제 PvP(플레이어간) 전투와 유사한 긴장감을 플레이어에게 제공한다는 얘기다.

적응형 AI는 플레이어의 패턴을 분석해 예측 가능성을 줄이고 다양한 전술을 요구하는 전투 상황을 만들어낸다.
플레이어가 공격이나 방어 패턴을 바꿀 때마다 AI는 이를 인식하고 최적의 전략으로 대응한다.
AI가 단순히 사전에 학습한 전투 방식에 머무는 게 아니라 실시간으로 학습해 플레이어의 전술을 분석하기 때문에 가능하다.

엔씨는 프로게이머와 대결을 통해 AI 성능을 검증받았다.
AI는 프로게이머 수준의 고난도 전술에 대응하며 플레이어의 스타일에 맞춰 전략을 빠르게 수정했다.
‘공격형’, ‘밸런스형’, ‘수비형’ 세가지 버전의 AI를 상대한 프로게이머들은 "대결이 흥미로웠다"는 평가를 내놨다.

리니지 리마스터에서 AI는 또 다른 방식으로 적용된다.
AI가 플레이어의 전술을 분석하고 움직임을 예측해 최적의 대응 전략을 구사한다는 점에서 블레이드&소울과 유사하지만 ‘팀플레이’에서 차이가 있다.

플레이어와 AI 세력이 감옥 2층 통제를 놓고 싸움을 벌이는 ‘거울전쟁’ 콘텐츠가 대표적인 예다.
AI로 구현된 캐릭터(APC)와 대결하는 AI 콘텐츠다.
엔씨는 APC 캐릭터에 MARL(멀티 에이전트 강화학습) 방법론을 활용했다.
이는 강화학습의 한 분야로, 여러 에이전트가 서로 상호작용하는 환경에서 각 에이전트가 학습을 통해 최적의 정책을 찾아가는 과정을 다룬다.
로보틱스, 자율 주행 차량, 게임 이론 등 다양한 분야에서 활용되고 있다.

이 센터장은 "AI가 게임 내에서 적의 움직임이나 플레이어의 전술을 예측할 수 있게 됨에 따라 전투의 긴장감이 더욱 증대됐다"며 "향후 적으로 싸우는 AI가 아닌 내편이 돼 함께 싸워주는 AI 개발을 목표로 연구를 진행 중"이라고 말했다.

주요 게임사들도 AI를 게임에 접목하는 방안에 눈을 돌리고 있다.
넥슨은 AI 연구조직인 ‘인텔리전스랩스’에 700명의 인력을 보유하고 있다.
AI를 활용한 게임 내 캐릭터 행동 및 사용자 경험 최적화, AI 기반 매칭 시스템 등에 중점을 두고 있다.
넥슨 관계자는 "AI 기반 맞춤형 게임 경험을 제공하고, 글로벌 시장 공략을 위해 추가 인력 확충을 계획하고 있다"고 말했다.

크래프톤은 100여명 규모의 딥러닝 본부를 갖추고 2D 사진으로부터 조종 가능한 3D 캐릭터 아바타 기술, 음성으로부터 얼굴 및 입모양 애니메이션 생성 기술 등 게임 제작에 접목 가능한 AI 기술 등을 개발하고 있다.
크래프톤 관계자는 "AI 시뮬레이션 및 딥러닝 기반 분석을 통해 사용자 행동을 예측하고 더욱 혁신적인 게임 콘텐츠를 제공하기 위해 조직을 확장할 것"이라고 말했다.