콘텐츠 자격 증명은 2024년 선거에서 딥페이크에 맞설 것. 미디어 기관은 디지털 선언문을 통해 허위 정보를 퇴치한다.

 

난 4월, 공화당 전국위원회의 YouTube 채널에 캠페인 광고가 게재되었습니다. 이 광고에는 일련의 이미지가 나와 있었습니다. 조 바이든 대통령이 재선을 축하하는 모습, 문을 닫은 은행과 진압 경찰이 있는 미국 도시 거리, 그리고 미국-멕시코 국경을 넘어 몰려드는 이민자들. 이 영상의 캡션은 "2024년 조 바이든이 재선된다면 AI가 만든 미국의 가능한 미래에 대한 모습"이었습니다.

 

그 광고는 AI를 사용한다는 점을 분명히 했지만, 대부분의 가짜 사진과 영상은 그렇지 않습니다. 같은 달에 힐러리 클린턴이 공화당 대선 후보인 론 데산티스를 지지하는 모습을 보여주는 가짜 영상 클립이 소셜 미디어에 유포되었습니다. 지난 몇 년 동안 생성 AI 가 엄청나게 부상 하면서 2024년 미국 대선 캠페인은 한 후보를 다른 후보와 맞붙이는 데 그치지 않고 진실과 거짓의 경쟁이 될 것입니다. 그리고 미국 대선은 올해 유일하게 중요한 선거 경쟁이 아닙니다. 소셜 미디어 개선에 주력하는 비영리 단체 인 Integrity Institute 에 따르면 2024년에 78개국에서 주요 선거가 치러집니다.

 

다행히도 많은 사람들이 이 순간을 대비해 왔습니다. 그중 한 명은 Microsoft 의 미디어 출처 프로젝트 책임자 인 Andrew Jenks 입니다. 그는 딥페이크 라고도 불리는 합성 이미지와 비디오가 2024년 미국 대선에 "영향을 미칠 것"이라고 말합니다. "저희의 목표는 그 영향을 최대한 완화하는 것입니다." Jenks는 진짜 와 가짜 디지털 미디어 파일의 출처와 이력을 기록하는 기술적 방법을 개발하는 조직인 Coalition for Content Provenance and Authenticity (C2PA)의 의장입니다. 11월에 Microsoft는 정치 캠페인에서 콘텐츠 자격 증명을 사용하도록 돕는 이니셔티브도 시작했습니다 .

 

공화당 전국위원회의 광고에는 AI가 생성한 이미지가 사용되었습니다.

C2PA 그룹은 Adobe가 주도하는 콘텐츠 진위성 이니셔티브 와 Project Origin 이라는 미디어 출처 노력을 하나로 모았습니다 . 2021년에 이미지 및 비디오 파일에 암호화된 보안 메타데이터를 첨부하기 위한 초기 표준을 발표했습니다. 시스템에서 파일의 모든 변경 사항은 자동으로 메타데이터에 반영되어 암호화 봉인이 깨지고 모든 변조가 명백해집니다. 파일을 변경하는 사람이 콘텐츠 자격 증명을 지원하는 도구를 사용하는 경우 변경 사항에 대한 정보가 이미지와 함께 이동하는 매니페스트에 추가됩니다.

 

표준을 발표한 이후, 이 그룹은 오픈소스 사양을 더욱 개발하고 주요 미디어 회사와 함께 구현해 왔습니다.BBC, 캐나다 방송 공사(CBC), 뉴욕 타임스는 모두 C2PA 회원입니다.미디어 회사의 경우, 콘텐츠 자격 증명은 만연한 잘못된 정보로 인해 사람들이 동의하지 않는 모든 것에 대해 "가짜"라고 외치기 쉬운 시기에 신뢰를 구축하는 방법입니다( 거짓말쟁이의 배당금 으로 알려진 현상).BBC의 기술 예측 책임자인 로라 엘리스는 "콘텐츠가 어둠 속에서 빛나는 등대가 되는 것은 정말 중요합니다."라고 말합니다 .

 

 

 

올해는 미국 과 다른 지역 의 새로운 AI 규정에 따라 콘텐츠 자격 증명 배포가 본격적으로 시작될 예정입니다 . 젠크스는 "2024년이 할머니가 콘텐츠 자격 증명을 처음 접하는 해가 될 것 같다"고 말했습니다.

 

콘텐츠 자격 증명이 필요한 이유는 무엇입니까?

 

콘텐츠 자격 증명 시스템에서 원본 사진은 변조 방지 매니페스트에 함께 묶인 출처 정보와 디지털 서명으로 보완됩니다. 다른 사용자가 승인된 도구를 사용하여 사진을 변경하는 경우 매니페스트에 새로운 주장이 추가됩니다. 이미지가 웹 페이지에 표시되면 시청자는 콘텐츠 자격 증명 로고를 클릭하여 이미지가 어떻게 생성되고 변경되었는지에 대한 정보를 볼 수 있습니다. C2PA

문제의 핵심은 DALL-E 2 와 Midjourney 와 같은 이미지 생성 도구를 사용하면 누구나 실제로 일어나지 않은 사건의 사실적이지만 가짜 사진을 쉽게 만들 수 있고, 비디오에도 비슷한 도구가 있다는 것입니다. 주요 생성 AI 플랫폼에는 정치인과 같은 실제 사람의 가짜 사진이나 비디오를 만드는 것을 방지하는 프로토콜이 있지만, 많은 해커는 이러한 시스템을 "탈옥"하고 안전 검사를 우회하는 방법을 찾는 것을 좋아합니다. 그리고 평판이 좋지 않은 플랫폼은 보호 장치가 적습니다.

 

이러한 배경에서 몇몇 대형 미디어 기관은 C2PA의 콘텐츠 자격 증명 시스템을 사용하여 인터넷 사용자가 검증된 이미지와 비디오에 수반되는 매니페스트를 확인할 수 있도록 하는 데 박차를 가하고 있습니다. C2PA 시스템에서 인증된 이미지에는 모서리에 작은 "cr" 아이콘이 포함될 수 있습니다 . 사용자는 이를 클릭하여 해당 이미지에 대한 모든 정보를 볼 수 있습니다. 이미지가 언제 어떻게 생성되었는지, 누가 처음 게시했는지, 어떤 도구를 사용하여 변경했는지, 어떻게 변경되었는지 등입니다. 그러나 시청자는 콘텐츠 자격 증명 데이터를 읽고 표시할 수 있는 소셜 미디어 플랫폼이나 애플리케이션을 사용하는 경우에만 해당 정보를 볼 수 있습니다.

 

이미지 및 비디오 생성 도구를 만드는 AI 회사에서도 동일한 시스템을 사용할 수 있습니다. 이 경우 생성된 합성 미디어에 그렇게 레이블이 지정됩니다. 일부 회사는 이미 참여하고 있습니다. C2PA의 공동 설립자인 Adobe는 이미지 생성 도구인 Firefly 로 생성된 모든 이미지에 대한 관련 메타데이터를 생성 하고 Microsoft는 Bing Image Creator로 동일한 작업을 수행합니다 .

"당신의 콘텐츠가 어둠 속에서 빛나는 등대가 되는 것은 정말 중요합니다."— 로라 엘리스 , BBC

콘텐츠 자격 증명으로의 전환은 자동화된 딥페이크 감지 시스템에 대한 열의가 식으면서 시작되었습니다. BBC의 엘리스에 따르면, "우리는 딥페이크 감지가 워 게임 공간이라고 결정했습니다." 즉, 현재 가장 좋은 감지기를 사용하여 더 나은 딥페이크 생성기를 훈련할 수 있다는 의미입니다. 감지기도 그다지 좋지 않습니다. 2020년, Meta의 딥페이크 감지 챌린지는 진짜와 가짜를 구별하는 정확도가 65% 에 불과한 시스템에 최고상을 수여했습니다 .

 

지금까지 콘텐츠 자격 증명을 통합하는 회사는 소수에 불과하지만, 현재 이 관행을 장려하는 규정이 만들어지고 있습니다. 현재 마무리되고 있는 유럽 연합의 AI법은 합성 콘텐츠에 라벨을 붙이도록 요구합니다. 그리고 미국에서 백악관은 최근 AI에 대한 행정 명령을 발표하여 상무부가 합성 콘텐츠의 콘텐츠 인증 및 라벨링에 대한 지침을 개발하도록 요구했습니다.

 

Project Origin 의장이자 C2PA 운영위원회 위원인 브루스 맥코맥은 대형 AI 기업들이 2023년 중반에 백악관과 자발적인 약속 에 서명하면서 콘텐츠 자격 증명을 향한 길을 걷기 시작했다고 말했습니다. 여기에는 합성 콘텐츠에 워터마크를 찍겠다는 서약이 포함되었습니다. 그는 "그들은 모두 무언가를 하기로 동의했습니다 ."라고 지적합니다. "그들은 같은 일을 하기로 동의하지 않았습니다. 행정 명령은 모든 사람을 같은 공간으로 강제하는 원동력입니다."

 

2024년 콘텐츠 자격 증명은 어떻게 될까요?

일부 사람들은 콘텐츠 자격 증명을 영양 라벨에 비유합니다. 이것은 정크 미디어인가요 아니면 진짜 건강한 재료로 만든 것인가요? CBC의 메타데이터 및 정보 시스템 책임자인 테사 스프라울 은 이를 법적 사건에서 증거를 추적하는 데 사용되는 보관 체계로 생각한다고 말합니다. 그녀는 "정지 이미지의 콘텐츠 수명 주기를 통해 성장할 수 있는 안전한 정보입니다."라고 말합니다. "입력 시 스탬프를 찍고 Photoshop에서 이미지를 자르면서 해당 정보도 추적됩니다."

 

스프라울은 그녀의 팀이 내부 이미지 관리 시스템을 정비하고 사용자가 관심 수준에 따라 파고들 수 있는 정보 계층으로 사용자 경험을 설계하고 있다고 말합니다. 그녀는 2024년 중반까지 메타데이터를 인식하는 유형의 소프트웨어를 사용하여 외부 뷰어가 볼 수 있는 콘텐츠 자격 증명 시스템을 선보일 계획입니다. 스프라울은 그녀의 팀이 또한 아카이브로 돌아가서 해당 파일에 메타데이터를 추가하고 싶어한다고 말합니다.

 

BBC에서 엘리스는 이미 정지 이미지에 콘텐츠 자격 증명 메타데이터를 추가하는 시험을 했다고 말했지만, "이것이 작동해야 하는 곳은 [소셜 미디어] 플랫폼입니다." 결국 시청자가 BBC 웹사이트에서 사진의 진위 여부를 의심할 가능성은 Facebook 에서 동일한 이미지를 보는 경우보다 낮습니다 .BBC와 그 파트너는 또한 미디어 기관과 워크숍을 운영하여 콘텐츠 자격 증명 시스템을 통합하는 것에 대해 논의했습니다.소규모 퍼블리셔가 워크플로를 조정하기 어려울 수 있음을 인식한 엘리스의 그룹은 퍼블리셔가 검증 및 인증을 위해 이미지를 보낼 수 있는 "서비스 센터"라는 아이디어도 모색하고 있습니다.이미지는 진위 여부를 증명하는 암호화된 해시된 메타데이터와 함께 반환됩니다.

 

MacCormack은 얼리어답터가 반드시 콘텐츠 자격 증명을 광고하기 시작하려는 것은 아니라고 지적합니다. 인터넷 사용자가 모서리에 작은 "cr" 아이콘이 없는 이미지나 비디오를 의심하기를 원하지 않기 때문입니다 . 그는 "사람들에게 찾으라고 말하기 전에 메타데이터가 있는 중요한 정보가 있어야 합니다."라고 말합니다.

 

미디어 산업을 넘어, 정치 캠페인을 위한 Microsoft의 새로운 이니셔티브 인 Content Credentials as a Service는 후보자가 보안 메타데이터로 진짜 캠페인 자료를 찍을 수 있도록 하여 자신의 이미지와 메시지를 제어할 수 있도록 돕기 위한 것입니다. Microsoft 블로그 게시물에 따르면 이 서비스는 정치 캠페인에 무료로 제공되는 "비공개 미리보기"로 "봄에 출시될 것"이라고 합니다. 대변인은 Microsoft가 이 서비스에 대한 아이디어를 모색 중이며, "결국 유료 서비스로 제공될 수 있다"고 말했으며, 더 광범위하게 이용 가능하다고 합니다.

 

주요 소셜 미디어 플랫폼은 아직 콘텐츠 자격 증명을 사용하고 표시하기 위한 계획을 공개하지 않았지만 AI 파트너십의 AI 및 미디어 무결성 책임자인 클레어 라이보비츠는 논의에 "매우 적극적으로 참여"했다고 말합니다. 그녀는 Meta 와 같은 회사가 이제 사용자 경험에 대해 생각하고 있으며 실용적인 측면도 고려하고 있다고 말합니다. 그녀는 컴퓨팅 요구 사항을 예로 들었습니다. "Facebook의 모든 콘텐츠에 워터마크를 추가하면 사용자가 로그오프해야 하는 지연이 발생할까요?" 라이보비츠는 규정이 콘텐츠 자격 증명 채택의 가장 큰 촉매가 될 것으로 예상하며 바이든의 행정 명령이 어떻게 제정될지에 대한 자세한 정보를 간절히 원합니다.

 

콘텐츠 자격 증명이 사용자 피드에 표시되기 전에도 소셜 미디어 플랫폼은 필터링 및 순위 알고리즘에서 해당 메타데이터를 사용하여 신뢰할 수 있는 콘텐츠를 찾아 추천할 수 있습니다. Project Origin의 MacCormack은 "가치는 소비자 중심 기술이 되기 훨씬 전에 발생합니다."라고 말합니다. 그는 게시자에서 소셜 미디어 플랫폼으로의 정보 흐름을 관리하는 시스템이 "소비자에게 교육을 시작하기 훨씬 전에 가동될 것입니다."라고 말합니다.

 

소셜 미디어 플랫폼이 이미지 배포 파이프라인의 종착지라면 이미지와 비디오를 녹화하는 카메라는 시작입니다. 10월에 Leica는 내장된 콘텐츠 자격 증명이 있는 최초의 카메라를 공개했습니다 . C2PA 회원사인 Nikon 과 Canon 도 자격 증명을 통합한 프로토타입 카메라를 만들었습니다. 하지만 Microsoft의 Jenks는 하드웨어 통합을 "성장 단계"로 간주해야 한다고 말합니다. 그는 "가장 좋은 경우, 무언가를 캡처할 때 렌즈에서 시작하여 웹 페이지에서 무언가가 소비되는 곳까지 확장되는 이러한 디지털 신뢰 체인이 있습니다."라고 말합니다. "하지만 마지막 마일을 수행하는 데는 여전히 가치가 있습니다."