광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[머신러닝] 머신러닝으로 이미지 검색 결과의 성별 및 인종 변경을 한다. UC 샌디에이고와 Adobe Research 간의 연구 협력은 전통적으로 지배적인 직업에 대한 이미지 검색 결과의 인종 및 성별 다양성 부족에 대한 혁신적이고 능동적인 솔루션을 제안했다. GAN(생성적 적대 네트워크 Generative Adversarial Networks)을 사용하여 주제의 성별 및/또는 인종이 변경된 "편향된" 직업의 비 실제 이미지를 생성한다.

https://www.unite.ai/changing-gender-and-race-in-image-search-results-with-machine-learning/

JM Kim | 기사입력 2022/01/07 [00:00]

[머신러닝] 머신러닝으로 이미지 검색 결과의 성별 및 인종 변경을 한다. UC 샌디에이고와 Adobe Research 간의 연구 협력은 전통적으로 지배적인 직업에 대한 이미지 검색 결과의 인종 및 성별 다양성 부족에 대한 혁신적이고 능동적인 솔루션을 제안했다. GAN(생성적 적대 네트워크 Generative Adversarial Networks)을 사용하여 주제의 성별 및/또는 인종이 변경된 "편향된" 직업의 비 실제 이미지를 생성한다.

https://www.unite.ai/changing-gender-and-race-in-image-search-results-with-machine-learning/

JM Kim | 입력 : 2022/01/07 [00:00]

새로운 논문의 이 예에서 연구원들은 사용 가능한 이미지 자료의 일반적인 말뭉치에 표시되지 않거나 부적절한 방식(: 성적인 표현 또는 부적절한 표현)으로 표현되는 원하는 사진에 대한 입력 특성을 가지고 있다.

 

이미지 검색의 다양성 생성 및 제어라는 제목의 새 논문에서 저자는 순위 재지정이 배관공, 기계 작업자, 소프트웨어 엔지니어 등과 같은 편향된 이미지/피처 클래스의 불균형을 수정할 수 있는 정도에 한계가 있다고 제안한다. 기타 - 그리고 합성 데이터를 통해 인종 및 성별 다양성을 증가시키는 것이 이 문제를 해결하는 방법일 수 있다.

 

“유토피아적 세계를 추구하려면 콘텐츠 사용자에게 다양한 인종 및 성별 특성을 가진 모든 직업을 제시할 수 있는 기회를 제공해야 한다. 직업, 인종 및 성별의 특정 조합에 대한 기존 콘텐츠의 제한된 선택은 콘텐츠 제공자에게 도전과제이다. 검색의 편향을 다루는 현재 연구는 대부분 재순위 알고리즘에 중점을 둔다.

 

그러나 이러한 방법으로는 새로운 콘텐츠를 만들거나 사진에서 보호되는 속성의 전반적인 분포를 변경할 수 없다. 이러한 문제를 해결하기 위해 불균형 데이터 세트의 여러 속성에 대한 고충실도 이미지 생성 컨디셔닝이라는 새로운 작업을 제안한다.

 

이를 위해 저자는 다양한 GAN 기반 이미지 합성 시스템을 실험했으며 마침내 StyleGan2 기반 아키텍처에 조명을 적용했다.

 

 

논문의 보충 자료에서 편향된 직업의 이미지 기반 표현을 "균등화"하는 두 가지 예(이 경우 "목수" "기계 조작자").

 

부적절하거나 부적절하게 표현됨

 

연구원들은 Google 이미지 검색에서 '배관공' *에 대한 실제 검색 결과의 관점에서 문제의 틀을 잡고, 이미지 결과가 젊은 백인 남성에 의해 지배된다는 것을 관찰했다.

 

 

2021 1 Google 이미지 검색에서 '배관공'에 대한 결과를 선택한다.

 

저자는 "행정 보조", "청소부" "기계 조작자"와 같은 다양한 직업에서 유사한 편견 표시가 발생하며 연령, 성별 및 인종에 대한 해당 편견이 있음을 지적한다.

 

'놀랍게도 이러한 사회적 편견으로 인해 일부 인종과 성별 조합은 콘텐츠 저장소에 이미지가 거의 없거나 전혀 없을 수 있다. 예를 들어 '여성 흑인(또는 아프리카계 미국인) 기계 조작원' 또는 '남성 아시아 행정 보조원'을 검색했을 때 [구글 이미지 검색]에서 관련 이미지를 찾지 못했다.

 

'게다가 드물게 성별과 인종의 특정 조합으로 인해 개인이 부적절하게 묘사될 수 있다. 우리는 여성 아시아 배관공 '또는' 여성 흑인(또는 아프리카계 미국인경비원과 같은 검색어에 대해 이러한 행동을 관찰했다.

 

이 논문은 2014년에 연구자들이 96개 직업에 대한 상위 400개 이미지 검색 결과를 수집한 또 다른 학술 협력을 인용한다. 그 연구에 따르면 여성은 결과의 37%만 나타내고 고정관념에 반대하는 이미지는 22%만 나타낸다. Yale 2019년 연구에 따르면 5년 동안 이러한 비율은 각각 45% 30%에 불과했다.

 

또한 2014년 연구에서는 이미지 검색 결과에서 특정 직업의 개인에 대한 성화를 섹시한 목수 문제로 분류했으며 이러한 부적절한 분류는 잠재적으로 직업 인식 결과를 왜곡할 수 있다.

 

큰 그림

저자의 주요 과제는 1024 × 1024 해상도를 출력할 수 있는 GAN 기반 이미지 합성 시스템을 생산하는 것이었다. GAN 및 인코더/디코더 기반 이미지 합성 시스템의 현재 기술 상태에서 512 × 512가 꽤 좋기 때문이다. 더 높은 것은 최종 출력을 업스케일링하여 얻는 경향이 있으며, 시간과 리소스를 처리하고 생성된 이미지의 신뢰성에 약간의 위험을 감수해야 한다. 

그러나 저자는 저해상도가 이미지 검색에서 관심을 끌 것으로 기대할 수 없으며 요구에 따라 고해상도 이미지를 허용 가능한 수준의 진위성으로 출력할 수 있는 다양한 GAN 프레임워크를 실험했다고 밝혔다.

 

StyleGan2를 채택하기로 결정했을 때 생성된 출력의 하위 기능(: 인종, 직업, 성별)을 기본 배포에서 허용하는 것보다 프로젝트에서 더 많이 제어해야 한다는 것이 분명해졌다. 따라서 저자는 생성 프로세스를 보강하기 위해 다중 클래스 조건화를 사용했다.

 

 

작성자가 명시하는 특정 이미지 생성기의 아키텍처는 StyleGAN2에만 국한되지 않지만 다양한 생성기 프레임워크에 적용될 수 있다.

 

인종, 성별 및 직업의 요소를 제어하기 위해 아키텍처는 이러한 연결된 특성의 원샷 인코딩을 y 벡터에 주입한다. 그런 다음 피드포워드 네트워크를 사용하여 이러한 기능을 포함하므로 생성 시 무시되지 않는다.

 

저자는 StyleGAN2가 이러한 방식으로 조작될 수 있는 정도에 엄격한 제한이 있으며 결과를 변경하려는 더 세밀한 시도가 더 낮은 이미지 품질과 모드 붕괴를 초래한다는 것을 관찰했다.

 

그러나 이러한 해결 방법은 연구원들이 데이터 세트에서 과소 대표되는 엔터티를 과도하게 샘플링하여 해결해야 하는 아키텍처의 암시적 편향 문제를 해결하지 못하지만 생성된 이미지 스트림의 유연성에 영향을 미칠 과적합의 위험이 없다.

 

따라서 저자는 ADA(적응형 판별기 증강 Adaptive Discriminator Augmentation)를 사용하여 판별자가 과적합되는 것을 방지하는 StyleGAN2-ADA를 채택했다.

 

데이터 생성 및 평가

 

프로젝트의 목적은 새롭고 종합적인 데이터를 생성하는 것이기 때문에 연구원들은 2014년 프로젝트의 방법론을 채택하여 높은 인종 및 성별 편견을 보여주는 여러 대상 직업을 선택했다. 선택한 직업은 '경영진', '행정보조', '간호사', '농부', '군인', '경비원', '트럭 운전사', '청소부', '목수', '배관공', ' 기계 운영자 ',' 기술 지원 담당자 ',' 소프트웨어 엔지니어 ', 그리고 '작가'.

 

저자들은 이미지 검색 결과에서 인지된 편견의 정도뿐만 아니라 대부분이 유니폼이나 특정 장비 또는 환경의 존재와 같이 직업에 코드화된 일종의 시각적 구성 요소를 포함하고 있기 때문에 이러한 직업을 선택했다.

 

이 데이터세트는 Adobe Stock 라이브러리의 10,000개 이미지를 기반으로 했으며 일반적으로 직업 분류를 시도할 때 95% 이상의 점수를 받았다.

 

많은 이미지가 대상 작업에 도움이 되지 않았기 때문에(, 사람이 포함되지 않음) 수동 필터링이 필요했다. 그런 다음 FairFace에서 사전 훈련된 ResNet32 기반 분류기를 사용하여 이미지에 성별 및 인종에 대한 레이블을 지정하여 성별에 대해 95.7%, 인종에 대해 81.5%의 평균 정확도를 얻었다. 따라서 연구자들은 성별: 남성, 여성, 인종: 백인, 흑인, 아시아인 및 기타 인종 속성에 대한 이미지 레이블을 얻었다.

 

StyleGAN2  StyleGAN2-ADA를 핵심 네트워크로 사용하여 TensorFlow에서 모델을 구축했다. 사전 훈련은 NVIDIA Flickr-Faces-HQ 데이터 세트(FFHQ) 데이터 세트에 대한 StyleGAN2의 사전 훈련된 가중치로 수행되었으며, 작성자가 U-SOHQ라고 명명한 별도의 데이터 세트로 수집한 34,000개의 직업별 이미지로 보강되었다. ).

 

 

Amazon Mechanical Turk 인간 평가의 샘플 HIT.

 

이미지는 4가지 아키텍처 구성에서 생성되었으며 Uniform +는 마침내 FID(자동 평가) Amazon Mechanical Turk 작업자의 후속 평가 모두에서 최고 점수를 얻었다. 분류 정확도와 결합하여 작성자는 이를 속성 일치 점수라는 자체 메트릭의 핵심 메트릭으로 사용했다.

 

 

다양한 방법으로 생성된 이미지에 대한 인간의 평가, 가장 설득력 있는 방법인 uniform + 방법 및 후속적으로 새로운 데이터 세트의 기초.

 

이 논문은 Uniform +에서 파생된 전체 데이터 세트인 Stock-Occupation-HQ를 공개적으로 사용할 수 있는지 여부에 대해서는 언급하지 않았지만 8,113개의 HQ(1024 × 1024) 이미지가 포함되어 있다고 명시하고 있다.

 
머신러닝, 성별, 인종, GAN(생성적 적대 네트워크) 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사