새로운 시스템은 이러한 일시적인(변경 가능한) 신호를 기반으로 기존 라벨링 시스템을 사용하여 남성과 여성의 보행을 구별하는 핵심 특성을 식별하며 그 결과 걷는 사람의 '골격' 움직임에서만 성별을 효과적으로 식별하는 시스템이 탄생했다.

 

효과적으로, 이 새로운 접근 방식은 남성과 여성이 다른 신호에 의존하지 않고 걷는 다양한 방식을 정량화한다. 그러나 초기에 걸음걸이 스타일에 레이블을 지정하기 위해 다른 특성(예: 얼굴 정보)을 사용하기 때문에 연구는 걸을 때 성별을 구별하는 특정 특성에 대한 질문을 남긴다.

 

 

새로운 방법은 제약 조건(예: 제한된 사용 각도 및 데이터 세트 큐레이션의 필요성) 하에 작동하는 얼굴 분석 모델에서 성 정체성을 파생한다. 그런 다음 시스템은 골격 운동 특성을 남성 또는 여성으로 할당하고 얼굴, 의복 및 기타 신뢰할 수 없는 데이터 소스를 무시하고 각각에 대해 특징적인 보행 신호를 추출한다. 출처: https://arxiv.org/pdf/2111.00538.pdf

 

새로운 논문의 제목은 From Face to Gait: Weakly-Supervised Learning of Gender Information from Walking Patterns이며 부쿠레슈티에 있는 폴리테니카 대학(University Politehnica)의 연구원들이 작성한 것이다.

 

시스템은 얼굴 분석 모델과 동등한 성능을 발휘하며 최대 91%의 F1 점수로 이러한 표준을 자주 초과하며 일반적으로 차단되는 다양한 관점과 상황을 포함하여 새로운 시나리오에 대한 높은 수준의 일반화를 제공한다. 얼굴 기반 또는 유사한 성별 인식 시스템의 효율성. 여기에는 얼굴이 가려지지 않은 시점, 정면이 아닌 각도 및 저해상도 이미지의 매우 일반적인 시나리오 또는 이미지 내에서 멀리 떨어져 있는 사람들을 감시하는 것이 포함되며, 여기서 움직임 스타일만 젠더의 신뢰할 수 있는 잠재적 지표로 남아 있다.

 

성별 차

 

연구원들이 결론 지은 바와 같이, 그러한 시스템은 현재 코로나에서 마스크 채택으로 인해 방해를 받는 인구통계학적 수집 프레임워크에 대한 큰 잠재력이 있으며 뿐만 아니라 의류와 실루엣 분석을 감시 영상에서 성별을 식별하는 신뢰할 수 없는 방법으로 만드는 패션과 우연의 기이함 때문이기도 하다.

 

감시 측면에서, 대상 피험자의 성별에 맞지 않는 모든 잠재적 대상을 할인할 수 있으면 사전 처리와 인간과 기계의 주의 필요성을 절반으로 줄일 수 있다. 현재 식별 시스템은 종종 감시 대상에게 성별을 올바르게 할당하는 데 어려움을 겪기 때문이다.

 

 

새로운 논문에서: 젠더 인식 시스템이 실패하는 다양한 예. 위의 행에서 우리는 연구원의 새로운 보행 분석 시스템이 이미지의 실제 레이블(M 또는 F)과 올바르게 일치하는 반면 얼굴 분석은 동일한 경우에 실패한 것을 볼 수 있다. 아래 행에서 연구원이 사용하는 라벨링 도구가 '시끄러운'(즉, 잘못된) 성별 라벨을 생성한 경우를 본다. 이에 대응하기 위해 연구원들은 PENCIL('시끄러운 레이블을 사용한 학습을 위한 확률적 종단 간 잡음 수정') 등의 방법을 사용했다.

 

대리인에 의한 성별 결정

 

손으로 선별한 골격 운동 데이터의 엄격한 분석을 통해 새로운 프로젝트에서 달성한 것과 동일한 기능에 도달하는 것이 이론적으로 가능하다. 이것이 완료되었다면, 새로운 프로젝트는 어떤 운동 특성이 젠더를 가장 잘 정의하는지에 대한 더 깊은 통찰력을 가질 수 있을 것이다. 그러나 이러한 접근 방식은 많은 자원을 투입해야 함을 의미하며, 연구자들은 대신 기존(덜 탄력적인) 시스템을 사용하여 필요한 레이블을 생성했다.

 

이러한 '의사 레이블'은 성별 기반 보행 특성에 대한 완전한 통찰력을 제공하지 않지만 리소스 제약 내에서 달성할 수 있는 매우 일반화 가능한 방식으로 성별로 보행 패턴을 필터링할 수 있다.

 

처음에 연구원들은 2019 FVG(Front View Gait) 데이터 세트를 사용했다. 이 데이터 세트는 측면 보기보다 단서가 적은 정면 각도에서의 보행 인식 문제를 해결한다. 데이터 세트에는 다양한 보행 속도, 어수선한 배경, 다양한 해상도 및 의복 차이와 같은 많은 장애물이 있는 보행 샘플이 포함되어 있다.

 

 

2019 FVG 논문에서 GaitNet은 공공 카메라에서 자주 보는 시나리오인 전면 뷰 영상을 기반으로 '걷는 비디오'에서 필수 보행 기능을 자동으로 학습한다.

 

출처: https://arxiv.org/pdf/1904.04925.pdf

 

FVG는 성별 식별을 지향하지 않기 때문에 저자는 프레임워크의 기본 정보를 개발하기 위해 데이터 세트의 226개 주제에 성별 정보를 수동으로 주석을 달았다.

 

MTCNN과 IMDB-WIKI 데이터 세트에 의해 결정된 인구 통계학적 특성을 통해 얼굴 감지가 용이해졌다. 보행 분석은 얼굴 기반 추론보다 장거리에서 잠재적으로 훨씬 더 효과적이기 때문에 최종 레이블은 프레임의 크기에 대한 얼굴 경계 상자의 영역에서 파생된 성별 신뢰도의 가중 평균으로 얻었다. 골격은 AlphaPose로 추출되었으며, 이는 피사체의 객관적인 높이와 같은 잠재적인 '증여'를 제거한다(임시 공개 카메라 시나리오에서 특정에 대해 평가할 수 없음).

 

테스트

 

시스템은 CASIA-B 보행 데이터베이스에 대해 테스트되었으며, 테스트의 패리티를 보장하기 위해 데이터 세트에서 과도하게 대표되는 남성을 언더샘플링했으며, 데이터 분할은 80% 훈련 및 20% 검증으로 이루어졌다.

 

연구원들은 걷기 시퀀스 간의 유사성을 계산하기 위해 자신의 이전 작업인 WildGait 네트워크(아래 이미지 참조)를 사용했다. 이미 확립된 성별 ID는 이제 프레임워크 프로세스의 이 단계로 효과적으로 안내된다.

 

 

WildGait는 실제 감시 스트림에서 파생된 자동 주석이 달린 대용량 골격 시퀀스에 대해 훈련된 시공간 그래프 컨볼루션 네트워크이다. 출처: https://arxiv.org/pdf/2105.05528.pdf

 

결론적으로 저자는 시스템이 성별을 결정하는 정확도 측면에서 최첨단 얼굴 기반 시스템과 일치한다고 말한다. 소스 워킹 비디오에서 발생할 수 있는 가능한 각도가 너무 많기 때문에 결과는 가능한 관점의 범위에 걸쳐 분포된다.