이미지 출처: Google Deepmind

2016년 비디오 게임 노 맨스 스카이(No Man's Sky)가 처음 출시되었을 때, 이 게임은 1800경 개 이상의 행성을 포함하는 우주를 자랑했다. 물론, 그 행성 중 하나를 탐험할 가치가 있게 만들려면 추가 개발에 6년이 더 걸렸지만, 이 거대하고 사실상 무한한 우주는 "절차적 생성"이라는 개발 방법을 사용하여 만들어졌다.

절차적 생성을 통해 컴퓨터는 인간이 만든 자산(예: 텍스처 및 조립식 개체)을 알고리즘으로 생성된 자산과 결합하여 비디오 게임 콘텐츠를 만들 수 있다. 다른 인기 게임에서는 이 방법을 활용하여 방대한 게임 세계를 수동으로 구성하는 부담을 완화하거나(Skyrim 및 The Witcher III) 각각의 새로운 플레이 세션(Minecraft 및 Dead Cells)에 대해 고유한 세계를 생성했다.

노 맨스 스카이의 예에서 알 수 있듯이, 인간 개발자가 규칙 및 매개변수와 함께 초기 자산을 제공할 수 있는 한 절차적 생성은 거의 무한에 가까운 수의 대화형 환경을 만들 수 있다. 그러나 구글(Google)은 절차적으로 생성된 환경을 완전히 새로운 수준으로 끌어올렸다.

이 회사의 AI 연구소인 딥마인드(Deepmind)는 최근 인터넷 동영상을 분석하여 2D 비디오 게임 제작 방법을 학습한 AI 모델을 발표했다. 일단 훈련되면 인간에게 필요한 유일한 자산은 단일 이미지이다. 냅킨 그림도 가능하다.

Genie(생성적 상호작용 환경 Generative Interactive Environments)라는 이름의 Al은 현재 개념 증명이지만 미래에 비디오 게임을 개발하는 방식에 있어서 엄청난 변화 이상의 신호일 수 있다. 이는 상호작용 환경을 통해 우리가 할 수 있는 새로운 잠재력을 열어줄 수 있다.

이제 당신은 AI의 힘을 가지고 놀고 있다

Genie의 훈련 방법은 모든 중학생이 부러워할 것이 확실이다. Genie는 온라인에서 플레이 되는 비디오 게임 비디오 클립을 680만 개 시청했다. AI는 특히 클래식 슈퍼 마리오 형제. 및 소닉 더 헤지혹과 같은 2D 플랫폼 게임에 중점을 두었다. 각 클립의 길이는 16초였다. 이는 Genie가 Twitch 스트리밍 30,000시간(해설 제외)을 시청했다는 의미이다.

Genie는 비디오를 분석하여 애니메이션의 각 프레임 사이에 어떤 "잠재적 동작"이 발생하는지 확인했다. 인터넷 비디오에는 게임에서 무슨 일이 일어나고 있는지 설명하는 액션 라벨이 없기 때문에 이 분석에서는 잠재 액션을 조사했다. 모델은 그 정보를 스스로 추론해야 했다. 일을 단순하게 유지하기 위해 연구자들은 잠재적인 행동을 8가지 가능성(위, 아래, 왼쪽, 오른쪽 및 대각선)으로 제한했다.

수많은 비디오 게임에서 데이터를 추출하고 잠재적인 동작을 분석한 후 Genie는 단일 이미지를 기반으로 플레이 가능한 2D 플랫폼 게임을 생성할 수 있었다. 이미지는 실제 사진, 손으로 그린 스케치 또는 AI 텍스트-이미지 변환일 수 있다.

소스가 무엇이든 이미지는 게임의 초기 프레임이 된다. 그런 다음 플레이어는 오른쪽으로 이동하거나 위로 점프하는 등의 동작을 지정하고 모델은 시퀀스의 다음 프레임을 예측하고 생성한다. 이 주기는 해당 기간 동안 계속되며 이전 프레임은 플레이어 입력을 기반으로 다음 프레임을 예측하기 위한 데이터가 된다. 따라서 개발자가 잠재적인 플레이어 입력을 기반으로 애니메이션을 만들어야 하는 기존 비디오 게임과 달리 Genie는 현재 플레이어 입력을 기반으로 애니메이션을 만든다.

Google은 블로그 게시물에서 “Genie는 이미지나 텍스트로부터 전체 상호작용 세계를 생성할 수 있는 시대를 열었다.”라고 썼다.

단순한 게임 그 이상

결과는 인상적이다. 해당 게시물에서 Google은 실제 비디오 게임의 GIF를 공유했다. 그 중 하나는 양식화된 슈퍼 닌텐도 게임에서 튀어나온 것처럼 느껴지는 세계를 가로질러 점프하는 점토 캐릭터를 보여주었다. 또 다른 작품은 어린 아이의 냉장고 미술 작품을 놀 수 있는 작품으로 바꿔 놓았다. 또 다른 사람은 레고 토르가 마른 보드 지우개에서 뛰어내리는 모습이었다.

Genie는 또한 예상치 못한 몇 가지 새로운 속성을 보여주었다. 예를 들어 일부 환경에서는 "시차 스크롤"이라는 애니메이션 기술을 에뮬레이트했다. 이는 게임 개발자가 깊이감을 주기 위해 전경 요소보다 느린 속도로 배경을 움직이는 경우이다. AI가 명시적인 지시 없이 이를 선택할 수 있는 것은 고급 설계이다.

연구원들은 또한 Genie가 게임 밖에서도 학습할 수 있는지 확인하고 싶었다. 측면 실험을 준비하면서 그들은 로봇 팔이 물체를 움직이고 조작하는 비디오를 통해 AI를 훈련시켰다. 이러한 로봇이 어떻게 작동해야 하는지에 대한 추가 지식 없이도 Genie는 사용자가 비디오 게임에서 플레이 가능한 캐릭터처럼 가상 로봇 팔을 조작할 수 있는 상호작용 환경을 개발할 수 있었다.

Google의 Genie는 보다 일반적인 도메인에도 적용될 수 있다. 이 gif는 작업 중인 로봇 팔의 비디오를 시청한 후 상호작용 환경을 만드는 능력을 보여준다. (제공: Google Deepmind)

보너스로 연구원들은 또 다른 새로운 속성을 발견했다. AI 모델은 로봇 팔의 그립에 의해 부서지는 칩 봉지와 같은 물체 변형을 시뮬레이션했다.

“우리는 Genie가 미래 연구에 엄청난 잠재력을 열어준다고 믿는다. 일반성을 고려할 때 이 모델은 훨씬 더 많은 비율의 인터넷 비디오를 통해 훈련되어 다양하고 현실적이며 상상된 환경을 시뮬레이션할 수 있다.”라고 연구원들은 기술 보고서에 썼다.

예를 들어 연구자들은 Genie가 다른 AI 모델이 학습할 수 있는 엄청난 수의 상호작용 환경을 만들 수 있는 잠재력을 가지고 있다고 추측한다. 따라서 실제 도시 거리에서 시행착오를 통해 자율 주행 자동차 AI를 훈련시키는 대신 Genie와 같은 모델은 다음과 같은 작업을 수행할 수 있다. AI 모델이 학습할 수 있는 광범위하고 다양한 가상 및 상호작용 환경을 만든다.

연구원들은 "풍부하고 다양한 환경의 부족이 [강화 학습]의 주요 제한 사항 중 하나라는 점을 감안할 때 보다 일반적으로 유능한 [AI] 에이전트를 만드는 새로운 경로를 열 수 있다"라고 덧붙인다.

파워업이 필요할 가능성이 있음

그러나 노 맨스 스카이와 마찬가지로 Genie에는 세계를 최대한 활용하기 전에 개선해야 할 제한 사항이 있다. 모든 AI 모델과 마찬가지로 Genie도 오류를 범하기 쉽다. 한 가지 예에서는 두 마리의 새가 뒤로 날아가서 서로 충돌하여 완전히 새로운 캐릭터로 융합되는 경우가 있다.

AI 모델은 생산할 수 있는 것에도 제한이 있다. "16프레임의 메모리"만 관리할 수 있기 때문에 "장기적으로 일관된 환경을 확보하기가 어렵다." 즉, 레벨이 짧거나 이상하게 빨리 진행된다. 환경도 초당 약 1프레임으로만 작동한다. 이를 관점에서 보면 대부분의 2D 플랫폼 게임은 초당 60프레임 속도를 목표로 한다. (Google에서 공개한 예제는 프레임 속도를 gif 표준까지 높인다.)

이러한 제한 사항을 염두에 두고 Genie가 새로운 게임 콘텐츠의 무제한 스트림을 생성하려면 개발에 몇 년 이상이 걸릴 수 있다. 그러나 논문 저자이자 브리티시 컬럼비아 대학의 컴퓨터 과학 부교수인 Jeff Clune은 X에 대해 다음과 같이 말했다. “잊지 말라. 이것은 최악의 상황이다. 곧 완벽하게 작동할 것이다.”