사람들은 실제 사람의 얼굴과 AI StyleGAN2 합성 얼굴을 구별하는 데 어려움을 겪는다. 사람들은 또한 AI가 생성한 얼굴을 더 신뢰할 수 있다고 생각한다.
AI 합성 텍스트, 오디오, 이미지, 영상은 이미 이른바 '리벤지 포르노', 사기, 선전에 활용되고 있다.
Lancaster 대학의 Sophie Nightingale 박사와 버클리 캘리포니아 대학의 Hany Farid 교수는 참가자들에게 최신 StyleGAN2 합성 얼굴을 실제 얼굴과 구별하고 그 얼굴이 어느 정도의 신뢰를 불러일으키는지 구별하도록 요청하는 실험을 수행했다.
결과는 합성으로 생성된 얼굴이 사진처럼 매우 사실적일 뿐만 아니라 실제 얼굴과 거의 구별할 수 없으며 심지어 더 신뢰할 수 있다고 판단되는 것으로 나타났다.
"AI로 합성된 얼굴의 사진 현실감에 대한 우리의 평가는 합성 엔진이 이상한 계곡을 통과했으며 실제 얼굴보다 구별할 수 없고 더 신뢰할 수 있는 얼굴을 만들 수 있음을 나타낸다."
연구원들은 AI 생성 이미지를 식별하지 못하는 사람들의 의미에 대해 경고한다.
"아마도 가장 해로운 것은 이미지나 비디오가 위조될 수 있는 디지털 세계에서 불편하거나 원치 않는 녹음의 진위가 의심될 수 있다는 결과일 것이다."
첫 번째 실험에서 315명의 참가자는 800개의 세트에서 가져온 128개의 얼굴을 실제 또는 합성된 얼굴로 분류했다. 정확도는 48%로 50%의 확률에 가깝다.
두 번째 실험에서 219명의 새로운 참가자가 얼굴을 분류하는 방법에 대한 교육을 받고 피드백을 받았다. 그들은 첫 번째 실험에서 와 같이 800개의 동일한 얼굴 세트에서 가져온 128개의 얼굴을 분류했지만 훈련에도 불구하고 정확도는 59%로 향상되었다.
연구원들은 신뢰성에 대한 인식이 사람들이 인공 이미지를 식별하는 데 도움이 될 수 있는지 알아보기로 결정했다.
“얼굴은 신뢰성과 같은 개별 특성에 대해 암묵적인 추론을 하기에 충분한 밀리 초의 노출과 함께 풍부한 정보 소스를 제공한다. 우리는 합성 얼굴이 동일한 신뢰성 판단을 활성화하는지 궁금했다. 그렇지 않다면 신뢰성에 대한 인식이 실제 얼굴과 합성 얼굴을 구별하는 데 도움이 될 수 있다.”
세 번째 연구에서는 223명의 참가자에게 1(매우 신뢰할 수 없음)에서 7(매우 신뢰할 수 있음)의 척도로 800개의 동일한 얼굴 세트에서 128개의 얼굴의 신뢰성을 평가하도록 요청했다.
합성 얼굴의 평균 평점은 통계적으로 유의한 실제 얼굴의 평균 평점보다 7.7% 더 신뢰할 수 있다.
가장(상단) 및 최소(하단)는 실제(R) 및 합성(S) 얼굴을 정확하게 분류한다. 이미지 출처: NVIDIA Corporation
"아마도 가장 흥미롭게도 합성으로 생성된 얼굴이 실제 얼굴보다 더 신뢰할 수 있다는 사실을 발견했다."
흑인 얼굴은 남아시아인 얼굴보다 더 신뢰할 수 있는 것으로 평가되었지만 그렇지 않으면 인종 간에 영향이 없었다. 여성은 남성보다 훨씬 더 신뢰할 수 있는 것으로 평가되었다.
"웃는 얼굴이 더 믿을 만하다고 평가될 가능성이 높지만 실제 얼굴의 65.5%, 합성 얼굴의 58.8%가 웃고 있기 때문에 표정만으로는 합성 얼굴이 더 신뢰할 수 있다고 평가되는 이유를 설명할 수 없다."
연구원들은 합성된 얼굴이 평균적인 얼굴과 비슷하기 때문에 더 신뢰할 수 있는 것으로 간주될 수 있다고 제안한다.
"딥 페이크"로부터 대중을 보호하기 위해 합성 이미지 생성 및 배포에 대한 지침도 제안했다.
“안전 장치에는 예를 들어 안정적인 식별을 위한 다운 스트림 메커니즘을 제공하는 이미지 및 비디오 합성 네트워크에 강력한 워터마크를 통합하는 것이 포함될 수 있다. 가장 심각한 위협이 되는 것은 이 강력한 기술에 대한 액세스의 민주화이기 때문에 우리는 대중에 대한 자유 방임적인 접근 방식을 재고하고 누구나 모든 애플리케이션에 통합할 수 있도록 코드를 무제한으로 공개할 것을 권장한다.”
"이 중추적인 순간과 다른 과학 및 공학 분야가 그랬던 것처럼 우리는 그래픽 및 비전 커뮤니티가 연구원, 발행인 및 미디어 배포자를 위한 윤리적 지침을 통합하는 합성 미디어 기술의 생성 및 배포에 대한 지침을 개발할 것을 권장한다."
