"실시간 몰입형 잠재 공간"을 엿볼 수 있다.
얼마 전에 저는 VR에서 실시간 AI 이미지 생성 작업을 하는 사람을 보고 여러분의 주의를 끌어야 했다. 솔직히 말해서 AI 변조 AR이 우리 앞에 있는 세상을 영광스럽고 창발적인 꿈의 풍경으로 바꾸는 것을 보는 것이 얼마나 장엄한지 말로 표현할 수 없었기 때문이다.
증강현실이나 가상현실에 AI를 적용하는 것은 새로운 개념은 아니지만 적용하는 데에는 몇 가지 한계가 있었다. 컴퓨팅 성능은 실제 사용에 대한 주요 장벽 중 하나이다. 그러나 Stable Diffusion 이미지 생성 소프트웨어는 소비자 수준 하드웨어에서 사용하기 위한 요약 알고리즘이며 Creative ML OpenRAIL-M 라이선스로 출시되었다. 즉, 개발자는 엄청난 양의 서버 실리콘을 임대하지 않고도 이 기술을 사용하여 프로그램을 만들고 시작할 수 있을 뿐만 아니라 창작물에서 자유롭게 이익을 얻을 수 있다.
나는 이 프로젝트를 개념화하기 위해 한밤중에 깨어났다. Scottie Fox – Stable Diffusion VR dev
ScottieFoxTTV(opens in new tab)는 트위터에서 VR 알고리즘 작업을 선보이고 있는 한 크리에이터이다. "이 프로젝트를 개념화하기 위해 한밤중에 잠에서 깼습니다."라고 그는 말한다. 저 자신도 창조주로서 뮤즈가 불경건한 시간에 공격하는 것을 즐긴다는 것을 이해한다.
그들이 그에게 가져온 것은 Stable Diffusion VR과 TouchDesigner 앱 구축 엔진의 결합으로 그는 그 결과를 "실시간 몰입형 잠재 공간"이라고 부른다. 어떤 사람들에게는 히피식 말도 안되는 소리처럼 들릴 수 있지만, 잠재 공간은 현재 세계를 매혹시키는 개념이다.
기본 수준에서, 이 맥락에서 인공 지능이 미지의 광대함에서 아이디어를 끌어낼 때 증강 현실에 가져오는 팽창 잠재력을 설명하는 문구이다. 흥미로운 개념이지만 나중에 기능에 대한 개념이다. 현재 저는 Stable Diffusion VR이 소비자 GPU를 돌리지 않고 실시간으로 어떻게 그렇게 잘 작동하는지에 관심이 있다(최근 RTX 4090(새 탭에서 열림))
"작은 조각을 환경에 분산시키면 자원이 절약됩니다."라고 Scotty는 설명한다. “엔진에서 작은 클립이 전송되어 확산됩니다. 준비가 되면 다시 프로젝션 대기열에 들어갑니다.” 여기 이미지의 파란색 상자는 한 번에 알고리즘에서 작업 중인 이미지 부분을 보여준다. 실시간으로 작업하는 것이 훨씬 더 효율적인 방법이다.
온라인 이미지 생성 도구를 사용해 본 사람은 단일 이미지를 만드는 데 최대 1분이 걸릴 수 있다는 것을 이해할 수 있지만 각 개별 섹션에서 작업하는 데 약간의 시간이 걸리더라도 결과는 여전히 다음과 같이 즉시 발생하는 것처럼 느껴진다. 단일 이미지가 확산을 마칠 때까지 기다리는 데 초점을 맞추지 않다. 그리고 언젠가는 포토리얼리즘 수준은 아니지만 Scotty가 게시한 비디오는 정말 숨이 막힐 정도이다.
거실의 날치, 끊임없이 변화하는 인테리어 디자인 아이디어, 울창한 숲과 눈앞에서 진화하는 야경 등 AI가 우리의 물리적 세계에 실시간으로 투영할 수 있기 때문에 게임 공간에서 사용할 수 있는 가능성이 무궁무진하다.
Midjourney의 CEO인 David Holz는 게임이 언젠가는 "꿈"(새 탭에서 열림)이 될 가능성에 대해 설명하며 우리가 그 방향으로 급하게 움직이는 것처럼 확실히 느낀다. 하지만 중요한 다음 단계는 Stable Diffusion과 같은 알고리즘이 학습한 데이터 세트 주변에서 발생하는 저작권 및 데이터 보호 문제(새 탭에서 열림)인 지뢰밭을 탐색하는 것이다.
스크류 스포츠, Katie는 Intel, AMD 및 Nvidia가 진행하는 것을 보고 싶어한다. 30년 동안 컴퓨터와 그래픽에 집착해 온 그녀는 게임 아트와 디자인을 대학에서 석사 수준으로 끌어 올렸고, 그 이후 2년 동안 기술과 과학을 다소 냉소적으로 설명하고 있다. 그녀는 AI 발전에 감탄하고, 흥미로운 Raspberry Pi 프로젝트를 위해 분주히 움직이고, 사이버 보안 인식을 설교하고, 반도체에 대해 한숨을 쉬고, 최신 GPU 업그레이드를 헐떡이는 모습을 볼 수 있다. 그녀는 자신의 의식을 클라우드에 업로드할 기회를 참을성 있게 기다리면서 PCG Steam Deck 콘텐츠 인상을 이끌고 있다.
