적어도 2016년 선거 이후, 허위 정보에 대한 우려가 대중의 의식에 퍼졌을 때, 전문가들은 딥페이크에 대한 경종을 울려왔다. 이 기술의 의미는 여전히 끔찍했다. 초현실적인 합성 미디어의 무분별한 확산은 정치인부터 일반인까지 모든 사람에게 위협을 가하고 있다. 이미 광범위한 불신으로 특징지어지는 가연성 환경에서 딥페이크는 불길을 더욱 부채질할 뿐이라고 약속했다.
알고 보니 우리의 두려움은 시기상조였다. 실제로 딥페이크를 만드는 데 필요한 기술적 노하우와 조악한 품질로 인해 적어도 지난 두 번의 대선 기간 동안 딥페이크는 최소한의 우려로 남아 있었다.
하지만 그 모든 것이 곧 변할 것이다. 이미 변하고 있다. 지난 2년 동안 생성AI 기술이 주류에 진입하여 일반 소비자를 위한 딥페이크 생성 프로세스를 근본적으로 단순화했다. 이와 동일한 혁신으로 딥페이크의 품질이 크게 향상되어 블라인드 테스트에서 대부분의 사람들은 조작된 비디오와 실제 비디오를 구별할 수 없게 되었다.
특히 올해 우리는 이 기술에 맞서기 위한 노력을 기울이지 않을 경우 이 기술이 사회에 어떤 영향을 미칠 수 있는지에 대한 징후를 보기 시작했다. 예를 들어 작년에는 AI가 생성한 프란치스코 교황의 유별나게 세련된 코트를 입은 사진이 입소문을 타며 많은 사람들이 진품으로 찍었다. 이는 어떤 면에서는 무해한 재미처럼 보일 수도 있지만 이러한 딥페이크의 위험한 잠재력과 잘못된 정보가 퍼지기 시작하면 이를 억제하는 것이 얼마나 어려운지 보여준다. 우리는 앞으로 몇 달, 몇 년 안에 이런 종류의 바이러스성 가짜 사례가 훨씬 덜 재미있고 훨씬 더 위험한 사례를 발견할 것으로 예상할 수 있다.
이러한 이유로 미디어부터 금융, 정부, 소셜 미디어 플랫폼에 이르기까지 모든 분야의 조직이 딥페이크 탐지 및 콘텐츠 진위 확인에 대해 적극적인 자세를 취하는 것이 중요하다. 딥페이크의 파도가 현실에 대한 우리의 공유된 이해를 씻어내기 전에 보호 장치를 통한 신뢰 문화가 지금 확립되어야 한다.
딥페이크 위협 이해하기
이러한 급증하는 딥페이크에 맞서기 위해 조직이 무엇을 할 수 있는지 알아보기 전에 보호 도구가 필요한 이유를 자세히 설명하는 것이 좋다. 일반적으로 딥페이크에 대해 우려하는 사람들은 딥페이크가 정치와 사회적 신뢰에 미칠 잠재적인 영향을 언급한다. 이러한 잠재적인 결과는 매우 중요하며 딥페이크에 관한 대화에서 무시되어서는 안 된다. 그러나 공교롭게도 이 기술의 부상은 미국 경제의 여러 부문에 잠재적으로 심각한 영향을 미칠 수 있다.
예를 들어 보험의 경우, 현재 미국의 연간 보험 사기 규모는 최대 3,086억 달러에 달한다. 이는 전체 산업의 약 4분의 1 규모이다. 동시에, 대부분의 보험 회사의 백엔드 운영은 점점 더 자동화되고 있으며, 2025년까지 표준 청구의 70%가 비 접촉식일 것으로 예상된다. 이것이 의미하는 바는 프런트 엔드의 셀프 서비스와 백 엔드의 AI 지원 자동화 등 인간의 개입을 최소화하면서 의사 결정이 점점 더 많이 이루어지고 있다는 것이다.
아이러니하게도 이러한 자동화 증가를 가능하게 한 바로 그 기술(예: 머신러닝 및 인공지능)은 악의적인 행위자의 악용을 보장했다. 예를 들어 Dall-E, Midjourney 또는 Stable Diffusion과 같은 생성 AI 프로그램을 사용하여 자동차를 실제보다 더 손상된 것처럼 보이게 만드는 등 일반 사람이 청구를 조작하는 것이 그 어느 때보다 쉬워졌다. 이미 이러한 목적을 위해 특별히 존재하는 앱이 있다. 예를 들어 Dude Your Car!는 사용자가 차량 사진에 인위적으로 흠집을 만들 수 있도록 해준다.
송장, 인수 평가, 심지어 도매로 조정되거나 발명된 서명까지 쉽게 조작할 수 있는 공식 문서에도 동일하게 적용된다. 이러한 능력은 보험사뿐만 아니라 경제 전반에 걸쳐 문제가 된다. 다양한 문서의 진위 여부를 검증해야 하는 금융기관 입장에서는 문제다. 이는 변형된 이미지와 함께 제품에 결함이 있다는 불만을 접수할 수 있는 소매업체의 문제이다.
기업은 이 정도의 불확실성 속에서는 운영될 수 없다. 어느 정도의 사기는 항상 불가피할 수 있다. 그러나 딥페이크의 경우 주변부 사기에 대해 말하는 것이 아니다. 우리는 기업이 허구에서 진실을 확인할 명확한 수단이 없고 이러한 혼란으로 인해 수십억 달러의 손실을 입게 되는 잠재적인 인식론적 재앙에 대해 이야기하고 있다.
불과 불로 맞서 싸우다: AI가 어떻게 도움을 줄 수 있는가?
그렇다면 이 문제를 해결하기 위해 무엇을 할 수 있을까? 아마도 그 대답은 딥페이크를 용이하게 하는 바로 그 기술에 있다는 것은 놀라운 일이 아니다. 이 재앙이 더 커지기 전에 멈추려면 불로 불에 맞서 싸워야 한다. AI는 딥페이크를 생성하는 데 도움이 될 수 있지만, 다행히도 이를 자동으로 대규모로 식별하는 데도 도움이 될 수 있다.
올바른 AI 도구를 사용하면 기업은 특정 사진, 비디오 또는 문서가 변조되었는지 자동으로 확인할 수 있다. 수십 개의 서로 다른 모델을 가짜 식별 작업에 활용하는 AI는 특정 사진이나 비디오가 의심스러운지 여부를 기업에 자동으로 정확하게 알려줄 수 있다. 일상적인 작업을 자동화하기 위해 기업이 이미 배포하고 있는 도구와 마찬가지로 이러한 도구는 과도한 직원에게 부담을 주거나 중요한 프로젝트에서 시간을 빼앗지 않고 백그라운드에서 실행할 수 있다.
사진이 잠재적으로 변경된 것으로 식별되면 직원은 경고를 받고 AI가 제공한 정보의 도움을 받아 문제를 직접 평가할 수 있다. 딥 스캔 분석을 사용하면 수동으로 변경된 메타데이터, 웹 전반에 걸쳐 동일한 이미지의 존재, 다양한 사진 불규칙성 등을 지적하여 사진이 조작되었을 가능성이 있다고 생각하는 이유를 기업에 알릴 수 있다.
이 중 어느 것도 지난 몇 년간 산업 전반에 걸쳐 실제로 유용하고 생산적인 애플리케이션을 보유한 생성 AI 기술의 놀라운 발전을 폄하하려는 것이 아니다. 그러나 이 신흥 기술의 단순성은 말할 것도 없고 잠재력 자체가 개인적인 이익을 위해든 사회적 혼란을 심기 위해든 조직을 조작하려는 사람들의 남용을 거의 보장한다.
조직은 유비쿼터스 딥페이크의 단점 없이 AI의 생산성 이점이라는 두 가지 장점을 모두 누릴 수 있다. 그러나 그렇게 하려면 새로운 수준의 경계가 필요하다. 특히 생성 AI의 출력이 날이 갈수록 더욱 설득력 있고 상세하며 실제와 유사해지고 있다는 사실을 고려할 때 더욱 그렇다. 조직이 이 문제에 더 빨리 관심을 돌릴수록 자동화된 세계의 모든 이점을 더 빨리 얻을 수 있다.
