미국의 연구원들의 한 실험에서 접근 방식은 'STOP' 길가 표지판의 의미를 '30mph' 속도 제한 표지판으로 바꾸는 데 성공했다.

 

 

간판에 세공 된 빛을 비추어 생성된 섭동은 머신러닝 시스템에서 해석되는 방식을 왜곡한다. 출처: https://arxiv.org/pdf/2108.06247.pdf

 

이 연구의 제목은 광학적 적대적 공격(Optical Adversarial Attack)이며 인디애나의 Purdue University에서 제공한다.

 

논문에서 제안한 OPAD(Optical ADversarial Attack)는 구조적 조명을 사용하여 대상 물체의 모양을 변경하며 상용 프로젝터, 카메라 및 컴퓨터만 있으면 된다. 연구원들은 이 기술을 사용하여 화이트박스 공격과 블랙박스 공격을 모두 성공적으로 수행할 수 있었다.

 

 

OPAD의 설정은 ViewSonic 3600 Lumens SVGA 프로젝터, Canon T6i 카메라 및 랩톱 컴퓨터로 구성된다.

 

블랙박스와 표적 공격

 

화이트 박스 공격은 공격자가 훈련 모델 절차 또는 입력 데이터의 거버넌스에 직접 액세스할 수 있는 가능성이 낮은 시나리오이다. 반대로 블랙박스 공격은 일반적으로 머신 러닝이 구성되는 방식 또는 적어도 작동 방식을 추론하고 '그림자' 모델을 만들고 원래 모델에서 작동하도록 설계된 적대적 공격을 개발하여 공식화된다.

 

 

여기서 우리는 분류기를 속이는 데 필요한 시각적 교란의 양을 본다.

 

후자의 경우 특별한 액세스가 필요하지 않지만 이러한 공격은 현재 학술 및 상업 연구에서 널리 사용되는 오픈 소스 컴퓨터 비전 라이브러리 및 데이터베이스에 의해 크게 도움이 된다.

 

새 백서에 설명된 모든 OPAD 공격은 특정 개체가 해석되는 방식을 변경하려는 '표적' 공격이다. 시스템이 일반화되고 추상적인 공격을 달성할 수 있음이 입증되었지만 연구원들은 실제 공격자가 보다 구체적인 파괴 목표를 가질 것이라고 주장한다.

 

OPAD 공격은 컴퓨터 비전 시스템에 사용될 이미지에 노이즈를 주입하는 자주 연구되는 원리의 실제 버전일 뿐이다. 이 접근 방식의 가치는 오분류를 유발하기 위해 대상 물체에 섭동을 단순히 '투영'할 수 있는 반면, '트로이 목마' 이미지가 교육 과정에서 종료되도록 하는 것은 달성하기가 다소 어렵다는 것이다.

 

OPAD가 데이터셋의 '속도 30' 이미지의 해시된 의미를 'STOP' 기호에 부여할 수 있는 경우 140/255 강도로 물체를 균일하게 조명하여 베이스라인 이미지를 얻었다. 그런 다음 투영된 경사 하강 공격으로 프로젝터 보정 조명이 적용되었다.

 

 

OPAD 오분류 공격의 예.

 

연구원들은 프로젝트의 주요 과제가 각도, 광학 및 기타 여러 요소가 악용에 대한 도전 과제이기 때문에 깨끗한 '기만'을 달성할 수 있도록 프로젝터 메커니즘을 보정하고 설정하는 것이라고 관찰했다.

 

또한 접근 방식은 밤에만 작동합니다. 명백한 조명이 '해킹'을 드러내는지 여부도 요인이다. 표지판과 같은 물체가 이미 조명되어 있는 경우 프로젝터는 해당 조명을 보상해야 하며 반사된 섭동의 양도 헤드라이트에 내성이 있어야 한다. 환경 조명이 더 안정적일 가능성이 있는 도시 환경에서 가장 잘 작동하는 시스템인 것 같다.

 

이 연구는 물체에 다른 이미지를 투사하여 물체의 모양을 변경하는 것에 대한 Columbia University의 2004년 연구의 ML 지향 반복을 효과적으로 구축한다. 이 실험은 OPAD의 악성 가능성이 없는 광학 기반 실험이다.

 

테스트에서 OPAD는 64개의 공격 중 31개의 공격에 대해 분류기를 속일 수 있었다(성공률 48%). 연구원들은 성공률이 공격받는 물체의 유형에 크게 좌우된다는 점에 주목한다. 얼룩덜룩한 표면이나 곡면(각각 테디베어, 머그 등)은 공격을 수행하기에 충분한 직접 반사율을 제공할 수 없다. 반면에 도로 표지판과 같이 의도적으로 반사되는 평평한 표면은 OPAD 왜곡에 이상적인 환경이다.

 

오픈 소스 공격 표면

 

모든 공격은 2018년 유사한 공격 시나리오에 대한 모델을 훈련하는 데 사용된 특정 데이터베이스 집합에 대해 수행되었다. ImageNet VGG16 데이터 세트; ImageNet Resnet-50 세트.

 

그렇다면 이러한 공격은 자율 주행 차량의 독점 폐쇄 시스템이 아니라 오픈 소스 데이터 세트를 목표로 하기 때문에 '단순히 이론적인' 것일까? 주요 연구 기관이 알고리즘 및 데이터 세트를 포함한 오픈 소스 생태계에 의존하지 않고 비밀리에 폐쇄 소스 데이터 세트 및 불투명한 인식 알고리즘을 생성하는 경우 그렇게 될 것이다.

 

그러나 일반적으로 작동 방식은 그렇지 않다. 랜드마크 데이터 세트는 모든 진행 상황(및 존경/찬양)을 측정하는 기준이 되는 반면 YOLO 시리즈와 같은 오픈 소스 이미지 인식 시스템은 공통의 글로벌 협력을 통해 유사한 원칙에 따라 작동하도록 의도된 내부 개발된 폐쇄형 시스템을 앞서간다.

 

FOSS 노출

 

컴퓨터 비전 프레임워크의 데이터가 결국 완전히 폐쇄된 데이터로 대체되는 경우에도 '비워진' 모델의 가중치는 개발 초기 단계에서 완전히 폐기되지 않을 FOSS 데이터에 의해 여전히 자주 보정된다. 결과 시스템은 잠재적으로 FOSS 방법의 표적이 될 수 있다.

 

또한 이러한 성격의 CV 시스템에 대한 오픈 소스 접근 방식에 의존하면 민간 기업이 다른 글로벌 연구 프로젝트의 분기된 혁신을 무료로 활용할 수 있어 아키텍처에 액세스할 수 있도록 유지하기 위한 재정적 인센티브가 추가된다. 그 후 그들은 상업화 시점에서만 시스템을 닫으려고 시도할 수 있다.