모든 얼굴 조작 감지

표정이 아닌 얼굴의 아이덴티티를 바꾼 경우에도 현행 방식만큼 정확하다는 것이 증명됐다. 이는 새로운 접근 방식을 사용하여 모든 유형의 얼굴 조작을 감지할 수 있음을 의미하며 조작된 비디오를 감지하기 위한 자동화 도구 개발을 향한 주요 단계이다.

비디오 편집 소프트웨어의 최근 발전으로 인해 한 사람의 얼굴을 다른 사람으로 바꾸거나 원래 표정을 바꾸는 것이 그 어느 때보다 쉬워졌다. 이러한 방법의 탐지는 전 세계적으로 다양한 국내 및 국제 분쟁에 점점 더 많이 사용되기 때문에 매우 중요하다. 하지만 표정만 바꿔서 얼굴을 식별하는 것은 매우 어려운 일이었다.

Amit Roy-Chowdhury는 본즈 공과대학의 전기 및 컴퓨터 공학 교수이다. 그는 또한 연구의 공동 저자이기도 하다.

“딥페이크 연구 분야를 더욱 어렵게 만드는 것은 앞으로 더욱 치열해질 딥페이크의 생성과 탐지, 예방의 경쟁이다. 생성 모델의 발전으로 딥페이크는 합성이 더 쉬워지고 실제와 구별하기가 더 어려워질 것”이라고 말했다.

발현 조작 탐지(EMD)

새로운 방법은 작업을 심층 신경망 내에서 두 가지 구성 요소로 분할한다. 첫 번째 분기는 표정을 포함하는 영역에 대한 정보를 제공하면서 얼굴 표정을 식별한다. 이러한 영역에는 입, 눈, 이마 등이 포함될 수 있다. 이 정보는 조작 감지 및 현지화를 담당하는 인코더-디코더 아키텍처인 두 번째 분기에 제공된다.

팀은 프레임워크에 EMD(Expression Manipulation Detection)라는 이름을 지정했으며 이미지에서 변경된 특정 영역을 감지하고 지역화할 수 있다.

Ghazal Mazaheri는 박사 과정 학생이자 연구 리더이다.

“다중 작업 학습은 얼굴 표정 인식 시스템에서 학습한 두드러진 기능을 활용하여 기존 조작 감지 시스템의 교육에 도움이 될 수 있다. 이러한 접근 방식은 표정 조작 감지에서 인상적인 성능을 달성한다.”라고 Mazaheri가 말했다.

연구원들은 두 가지 까다로운 얼굴 조작 데이터 세트에 대한 실험을 수행했으며 EMD가 얼굴 표정 조작 및 ID 교환에서 더 나은 성능을 보인다는 것을 보여주었다. 조작된 동영상의 99%를 정확하게 감지했다.

"얼굴 표정 조작의 탐지 및 현지화"라는 새로운 연구 논문이 컴퓨터 비전 응용에 관한 2022년 겨울 회의에서 발표되었다.