Nvidia는 매장에서 찾을 수 없는 그래픽 카드로 가장 잘 알려져 있지만 회사는 흥미로운 소프트웨어 도구도 만든다. 이에 대한 예는 RTX 음성으로 알려진 소음 제거 기능으로, 올해 초 모든 GeForce 카드에서 작동하도록 업그레이드되었으며 배경 소음을 제거하는 데 탁월하다.

이제 Nvidia(땡큐, 80.lv)는 올해 베타에서 사운드와 관련된 새로운 도구를 선보였다. Audio2Face는 Nvidia의 개방형 실시간 시뮬레이션 플랫폼인 Omniverse에서 실행되는 인상적인 자동 리깅 프로세스이다. 오디오 파일을 가져오는 기능이 있으며 포함된 Digital Mark 3D 캐릭터 모델에 놀라울 정도로 잘 어울리는 애니메이션을 적용할 수 있다.

이 작업은 자동으로 수행되고 대부분의 언어에서 잘 작동하며 슬라이더를 사용하여 더 자세히 조정할 수 있다.

이를 위해 Nvidia는 얼굴 애니메이션을 오디오와 실시간으로 일치시키는 심층 신경망을 구현했다. 프로그램을 처음 시작할 때 하드웨어의 신경망을 최적화하는 Tensor RT 엔진을 빌드하는 데 잠시 시간이 걸릴 수 있다. 거기에서 하드웨어가 해킹할 수 있는 한 실시간으로 변경 사항을 확인하거나 적용할 수 있어야 한다.

추가 보너스로 Nvidia on Demand는 회사의 튜토리얼 웹 사이트이며 Omniverse 및 Audio2Face에 대한 많은 비디오를 제공한다. Audio2Face의 첫 번째 비디오는 2020년 3월로 거슬러 올라간다. 하지만 더 최근의 튜토리얼에서는 Unreal Engine 4와 같은 다른 도구로 프로세스를 내보내는 방법까지 자세히 설명한다.

몇 개의 비디오를 본 후에는 사용된 오디오의 품질에 약간 의존하는 것 같다. 영화에서 찰리 채플린(Charlie Chaplin)의 독특한 연설인 위대한 독재자가 한 비디오에 등장하며 움직임이 더 선명하고 현대적인 녹음에서 하는 것처럼 명확하지 않은 것 같다. 즉, 일부 오디오 품질과 달리 이 도구는 시간이 지남에 따라 더 좋아질 것이다.