스칼렛 요한슨은 자신의 동의 없이 온라인에서 인공지능 앱을 홍보하는 데 자신의 목소리와 얼굴이 사용된 사실을 알고 앱 제조사인 리사 AI를 상대로 법적 조치를 취했다.

해당 영상은 이후 삭제됐다. 그러나 그러한 "딥페이크" 중 다수는 몇 주 동안 인터넷을 떠돌 수 있다. 최근 MrBeast가 등장하는 딥페이크는 소셜 미디어 인물의 무단 유사 인물이 2달러짜리 iPhone을 판매하는 모습을 볼 수 있다.인공지능은 사람의 외모와 목소리를 모방하는 데 능숙해져서 그것이 진짜인지 가짜인지 구별하기 어려울 수 있다. Northeastern University , Voicebot.ai 및 Pindrop 에서 새로 발표된 두 개의 AI 설문조사에서 응답자의 약 절반은 합성 콘텐츠와 인간 생성 콘텐츠를 구별할 수 없다고 말했다.

이것은 AI 봇보다 앞서려고 노력하는 것이 두더지 잡기 게임이 된 유명인에게 특별한 문제가 되었다.

이제 새로운 도구를 사용하면 대중이 이러한 딥페이크를 더 쉽게 감지할 수 있으며 AI 시스템이 딥페이크를 생성하는 것은 더 어려워질 수 있다.

세인트루이스에 있는 워싱턴 대학의 컴퓨터 공학 및 공학과 조교수인 Ning Zhang은 "제너레이티브 AI는 세상을 바꿀 수 있는 기술이 되었습니다."라고 말했다. "그러나 그것이 오용될 때 방어층을 구축할 수 있는 방법이 있어야 합니다."

스크램블링 신호

Zhang의 연구팀은 사람들이 딥페이크 남용에 맞서 싸우는 데 도움이 될 수 있는 AntiFake 라는 새로운 도구를 개발하고 있다.

Zhang은 "AI 기반 합성 엔진이 효과적인 모방을 생성하지 못하도록 신호를 뒤섞는다"고 말했다.

Zhang은 AntiFake가 시카고 대학의 Glaze 에서 영감을 받았다고 말했다. Glaze는 시각 예술가의 작품이 생성 AI 모델용으로 스크랩되는 것을 방지하기 위한 유사한 도구이다.

이 연구는 아직 매우 새로운 것이다. 팀은 이달 말 덴마크에서 열리는 주요 보안 컨퍼런스 에서 이 프로젝트를 발표할 예정이다. 현재로서는 어떻게 확장될지는 명확하지 않다.

그러나 본질적으로 비디오를 온라인에 게시하기 전에 음성 트랙을 AntiFake 플랫폼에 업로드해야 한다. 이 플랫폼은 독립형 앱으로 사용하거나 웹을 통해 액세스할 수 있다.

AntiFake는 오디오 신호를 뒤섞어 AI 모델을 혼동시킨다. 수정된 트랙은 여전히 ​​인간의 귀에 정상적으로 들리지만 시스템에서는 엉망으로 들리므로 깨끗한 음성 복제를 생성하기가 어렵다.

도구 작동 방식을 설명하는 웹 사이트에는 다음과 같이 들리는 것부터 기술에 의해 변환되는 실제 음성의 많은 예가 포함되어 있다.

이에:

귀하는 트랙에 대한 모든 권리를 보유한다. AntiFake는 이를 다른 목적으로 사용하지 않는다. 그러나 Zhang은 귀하가 이미 온라인에서 널리 사용되는 목소리를 가진 사람이라면 AntiFake가 귀하를 보호하지 않을 것이라고 말했다. AI 봇은 이미 배우부터 대중 매체 기자까지 모든 종류의 사람들의 목소리에 접근할 수 있기 때문이다. 고품질 복제물을 만드는 데는 개인의 연설 내용이 몇 초밖에 걸리지 않는다.

"모든 방어에는 한계가 있잖아요?" 장은 말했다.

그러나 Zhang은 AntiFake가 몇 주 안에 출시되면 사람들에게 자신의 발언을 보호할 수 있는 사전 예방적인 방법을 제공할 것이라고 말했다.

딥페이크 감지

그동안 딥페이크 감지와 같은 다른 솔루션이 있다.

일부 딥페이크 탐지 기술은 비디오와 오디오에 디지털 워터마크를 삽입하여 사용자가 AI가 만든 것인지 식별할 수 있도록 한다. 예로는 Google의 SynthID 및 Meta의 Stable Signature 가 있다. Pindrop 및 Veridas 와 같은 회사에서 개발한 다른 제품은 단어 소리가 화자의 입과 어떻게 동기화되는지와 같은 작은 세부 사항을 검사하여 무언가가 가짜인지 알 수 있다.

핀드롭(Pindrop) 창업자이자 CEO인 비제이 발라수브라마니안( Vijay Balasubramaniyan )은 "인간이 말하는 어떤 것들은 기계가 표현하기가 매우 어렵다"고 말했다.

그러나 AI 시스템 보안을 연구하는 버팔로 대학교 컴퓨터 과학 교수 Siwei Lyu 는 딥페이크 탐지의 문제점은 이미 게시된 콘텐츠에서만 작동한다는 점이라고 말했다. 때로는 승인되지 않은 비디오가 AI 생성 딥페이크로 표시되기 전에 며칠 동안 온라인에 존재할 수 있다.

Lyu는 "이것이 소셜 미디어에 나타나는 것과 AI가 생성한 것으로 판단되는 것 사이의 간격이 단 몇 분에 불과하더라도 피해를 초래할 수 있습니다"라고 말했다.

균형이 필요함

노스이스턴대학교 응용 인공지능 교수이자 AI 기업 베리톤( Veritone ) 부사장인 루팔 파텔( Rupal Patel) 은 “이 기술이 오용되거나 남용되지 않도록 보호하는 방법의 차세대 진화라고 생각한다”고 말했다. "저는 그 보호 속에서 결국 아기를 목욕물과 함께 버리는 일이 없기를 바랄 뿐입니다."

Patel은 생성 AI가 목소리를 잃은 사람들이 다시 말할 수 있도록 돕는 등 놀라운 일을 할 수 있다는 점을 기억하는 것이 중요하다고 믿는다. 예를 들어, 배우 발 킬머(Val Kilmer)는 인후암으로 실제 목소리를 잃은 이후로 합성 목소리에 의존해 왔다.

Patel은 개발자가 이러한 결과를 생성하려면 대규모 고품질 녹음 세트가 필요하며 사용이 완전히 제한되면 그러한 녹음 세트를 보유하지 못할 것이라고 말했다.

"저는 이것이 균형이라고 생각합니다"라고 Patel은 말했다.

동의가 핵심이다

딥페이크 남용을 방지하려면 동의가 중요하다.

지난 10월 미국 상원의원들은 창작자들을 구속할 새로운 초당적 법안 인 "2023년 원본 육성, 예술 육성, 엔터테인먼트 안전 유지법" 또는 줄여서 "2023년 가짜 금지법"을 논의 중이라고 발표했다 . 승인 없이 사람의 초상을 사용하는 경우 딥페이크에 대한 책임이 있다.

뉴욕 미술 법률 회사인 Kaye Spiegler의 변호사인 Yael Weitz 는 "이 법안은 현재 퍼블리시티권이 주마다 다른 통일된 연방법을 제공할 것"이라고 말했다.

현재 미국 주 중 절반만이 개인에게 상업적 판촉을 위해 자신의 신원 사용을 허가할 수 있는 독점적 권리를 부여하는 "퍼블리시티권" 법률을 보유하고 있다. 그리고 그들은 모두 서로 다른 수준의 보호를 제공한다. 그러나 연방법이 제정되려면 몇 년이 걸릴 수도 있다.

이 이야기는 Jennifer Vanasco 가 편집했다. 오디오는 Isabella Gomez Sarmiento 가 제작했다.