조작 및 AI 법 

• AI를 통한 조작은 개인과 커뮤니티에 위험을 초래한다. 신체 이미지 문제 악화에서 선거 결과에 영향을 미치고 취약점을 악용하여 소비 선택을 목표로 삼는다.

• 조작은 직접적인 피해를 입히고 대상의 자율성을 침해하며 사람을 끝이 없는 것으로 취급할 수 있기 때문에 문제가 된다. 

• EU AI 법 5조의 두 가지 주요 변경 사항을 권장한다.

 

잠재적인 기술을 제거하고 조작의 위해 목록에 사회적 해를 추가한다.

일반적으로 디지털 기술과 특히 인공지능(AI)은 인간 조작의 위험을 강화하고 고유한 문제를 일으킬 수 있다. 첫째, 대부분의 알고리즘에 대한 투명성 및 설명 가능성의 부족과 AI의 단점[1]에 대한 기술적 이해가 부족한 소비자로 인해 AI에 상당한 수준의 불투명성이 있다. 둘째, AI 시스템은 개인의 선호도, 관심사, 습관 및 기타  

 

여러 특성을 감지하거나 추론하여 콘텐츠를 정확한 방식[1]으로 개인화 할 수 있다. 또한 AI 시스템은 기분, 스트레스, 감정[2]과 같은 심리적 상태를 평가하는 데 사용할 수 있다. 셋째, AI는 의사결정 취약점을 악용하여 소비자의 숙의적 자율성을 약화시키는 능력을 가능하게 한다.[3] '조작'은 정의하기 어려운 개념이지만 문헌은 네 가지 주요 특성을 설명한다.[4]

 

하나는 조작자가 사람의 숙고적인 의사 결정 능력을 우회하거나 약화시키려는 비합리적인 영향이라는 것이다. 또 다른 하나는 조작하려면 누군가가 특정 방식으로 행동하도록 하기 위해 종종 숨겨진 수단을 통해 기만과 속임수를 사용해야 한다는 것이다. 세 번째는 예를 들어 감정적 협박을 통해 조종자가 원하는 대로 하기 위해 어느 정도의 압력을 사용하는 것을 수반한다는 것이다. 마지막으로 일반적으로 대상 자신의 이익, 목표 및 선호도가 아니라 조작자의 지침에 따른다.

 

표: 조작의 특성  

                      

특성	예시
비합리적 영향	플랫폼이 자동으로 다른 비디오를 시작한다.
기만과 속임수 사용	웹 사이트는 구독이 무료라고 약속하지만 자동으로 갱신된다.
어느 정도의 압력	소셜 미디어 사이트는 많은 친구들이 이미 무언가를  좋아하고 있다고 사용자에게 알려준다.
종종 숨겨진 영향력	회사는 정치적 영향력을 위해 성격 퀴즈에서 사용자  데이터를 수집한다.
취약점 악용	광고주는 사용자가 슬퍼하는 순간에 광고를 타겟팅한다.
대상 자신의 이익에 좌우되지 않음	긱 이코노미 드라이버는 교대 근무가 끝난 후에도 계속  일할 것을 촉구한다.

 

 

조작으로 인한 위험

 AI 시스템의 위험은 가상이 아니며 이미 개인과 커뮤니티를 위협하며 적절하게 준비되지 않으면 추가 피해로 이어질 수 있다. 최근 증거에 따르면 인스타그램Instagram의 머신러닝 알고리즘은 상당한 비율의 사용자, 특히 10대 소녀에게 신체 이미지 문제를 악화시키고 불안과 우울증을 증가시키는 것으로 나타났다. 그러나 플랫폼은 이익 마진을 유지하기 위해 참여를 줄이는 것을 원하지 않는다.[5] 또한 유권자 마이크로 타겟팅 회사인 케임브리지 애널리티카Cambridge Analytica는 소셜 미디어 사이트 Facebook에서 수집한 데이터를 사용하여 특정 유권자를 대상으로 광고를 타겟팅하는 고급 분석을 사용하여 잠재적으로 전 세계 선거를 흔들 수 있다.[1] 또한 광고주가 취약한 순간에 광고로 사람들을 타겟팅하는 방법을 나타내는 전략 문서가 유출되었다.[2] 어떤 경우에는 AI가 이미 표준 마케팅 기술보다 더 많은 소비자 결정에 영향을 미치고 있다.[3]

 

 

조작이 비윤리적일 수 있는 몇 가지 방법이 있다. 첫째, 조작자는 소셜 미디어, 정치 및 마케팅의 몇 가지 예와 함께 위에 표시된 것처럼 표적이 된 사람들에게 직접적인 피해를 줄 수 있다. 둘째, 조작자는 개인의 선택과 의사 결정을 줄이려는 의도로 대상의 개인 자율성을 침해할 수 있다. 마지막으로, 조종자는 사람을 토론하고 추론하기보다는 이용하기 위한 것으로 취급할 수 있다. 위에서 언급한 조작 위험의 예는 대부분의 사람들에게 분명히 비윤리적이지만 넛지의 경우 조작이 더 미묘한 역할을 할 수 있다.

 

넛지는 행동 실험에서 얻은 통찰력으로 개발된 행동 관행이다. 일부 넛지는 누군가를 착취하기 위해 숨겨지거나 구현되지 않았기 때문에 분명히 조작적이지 않다. 예를 들어, 칼로리와 성분을 표시하는 영양 라벨과 같은 정보 넛지는 조작이 아니다. 반면에 YouTube의 자동 재생과 같이 온라인에서 사용되는 많은 넛지는 사용자 취약성을 악용하여 무분별한 참여 및 플랫폼 남용의 함정에 빠지기 때문에 더 논란의 여지가 있다.

 

EU AI 조작법

EU AI 법은 두 가지 주요 방법으로 조작에 주의를 기울인다. 

1) 관행, 대상 인구 및 피해 식별: “의식을 초월한 잠재의식 기술을 통해 사람을 조종하거나 아동이나 장애인과 같은 특정 취약 집단의 취약성을 악용하여 행동을 물질적으로 왜곡할 수 있는 상당한 잠재력이 있는 관행을 다룬다. 그것은 자신 또는 다른 사람에게 정신적 또는 신체적 피해를 입힐 가능성이 있는 행위이다”[4]

2) 다른 규정에 조작이 포함될 수 있음을 인정: 

"성인에게 영향을 미치는 기타 조작 또는 착취 행위 즉, AI 시스템에 의해 촉진될 수 있는 기존 데이터 보호, 소비자 보호 및 디지털 서비스 법률은 자연인이 적절하게 정보를 받고 행동에 영향을 미칠 수 있는 프로파일링 또는 기타 관행의 대상이 되지 않을 자유 선택권을 보장하는 디지털 서비스 법률의 적용을 받을 수 있다.” [5]

 AI법 제5조 (1)항과 (2)항은 AI 조작을 금지하는 가장 일반적인 원칙을 제공하기 때문에 초점을 맞춘다. 5조의 나머지 부분은 소셜 채점 및 생체 인식과 같은 특정 응용 프로그램에 중점을 둡니다. 이것에 대해서는 이미 다른 곳에서 많이 쓰여졌다.[1] 

많은 시민 사회 구성원은 AI 법이 조작 위험으로부터 보호하는 방법에 대한 생각을 표명했다. BEUC(유럽 소비자 기구 European Consumer Organization)는 경제적 또는 사회적 피해를 유발하는 방식으로 인간을 조작하는 AI는 제안에 포함되지 않으며 조작을 통해 신체적 또는 심리적 피해를 유발하는 AI만 해당한다고 명시한다.[2] 이는 AI의 많은 사용이 개인이 아니라 그룹을 대상으로 할 것이라고 명시한 EDRi(유럽 디지털 권리European Digital Rights)에서도 강조한다.[3] 

다른 시민 사회 조직에서는 문화적 피해 및 민주주의에 대한 피해와 같은 다른 유형의 피해를 언급했다. EDRi와 국제앰네스티는 또한 열거된 특정 취약성이 매우 제한적이라고 덧붙였다. 연령과 신체적 또는 정신적 장애만 포함되며, EU 법에는 보호되는 다른 특성이 많이 있다.[4] 

또한 전자정보센터 등에서는 '잠재적 기술'을 사용하여 조작을 금지해야 한다는 요건이 모호하므로 이를 삭제하여 조작에 사용되는 기술을 모두 포함해야 한다고 주장하고 있다.[5] 마지막으로 BEUC는 의도를 입증해야 하는 반면 AI는 의도 없이 조작적 피해를 유발할 수 있기 때문에 "하기 위해"라는 문구의 제거를 지지한다.

 

정책 제안

1. 제안서에서 "잠재적 기법"을 제거하여 기사가 모든 유형의 조작 기술에 적용되도록 제안한다. 

Facebook, Google 등 많은 글로벌 업계 리더들은 인공지능법에서 '잠재적 기법'에 대한 명확성이 부족하다는 문제에 주목해 왔다.[6] 구체적인 해결책은 다를 수 있지만 이것이 제5조의 문제적 측면이라는 데에는 폭넓은 합의가 있다. 시민 사회의 일원으로서 우리는 잠재적 기법에 대한 요구 사항을 제거하고 기사를 모든 조작 기술에 적용할 것을 제안한다.

 

'잠재적'이라는 용어는 AI 법 제안서에 명시적으로 정의되어 있지 않는다. 일반적으로 소비자가 의식적으로 인식할 수 없는 감각 자극을 말한다.[1] 자극은 50밀리초 미만 동안 제시되는 경우에만 잠재 의식으로 간주된다.[2] 인공지능의 대부분은 사용자가 의식적으로 인식할 것이기 때문에 잠재 의식이 아니다.[3] 따라서 이 문서에서는 여전히 다양한 형태의 조작을 허용한다.

 

예를 들어, AI 시스템이 물병을 마지막으로 채운 시간을 식별할 수 있는 센서로 인해 개인이 목이 마르다고 결론지었다고 가정한다. 이 시스템이 이 사람에게 목이 마를 때 코카콜라 광고를 보여준다면 의식적으로 광고를 인식할 수 있는 한 이것은 잠재 의식이 아닐 것이다. 알고리즘 때문에 음료 구매에 영향을 받는다는 사실을 인지하지 못하더라도, 또는 알고리즘이 취약한 상태에서 그들을 표적으로 삼았다고 해도 자극이 탐지 임계 값 아래에 있지 않았기 때문에 조작은 잠재의식이 아니다.

 

2. 현재 제5조에 포함된 피해 목록에 사회적 피해를 추가하는 것이 좋다.

 

현재 5조에 포함된 조작의 피해 목록에 사회적 피해를 추가하는 것이 좋다. 많은 시민 사회 단체, 학계 및 AI 고위급 전문가 그룹과 같은 유럽 전문가 그룹은 유럽 시민들이 AI 시스템을 신뢰할 수 있도록 보장하기 위해 사회 복지를 늘리거나 사회적 피해를 줄이는 것의 중요성에 대해 논의했다.[4]

 

민주적 절차에 해를 끼치거나 법치주의를 약화시키거나 불평등을 악화시키는 것과 같은 특정 AI 시스템을 구현하는 일부 부정적인 결과는 개인에게는 미미한 피해를 줄 뿐 사회 전반에는 피해를 줄 수 있다.[5] 캠브리지 애널리티카 스캔들로 잘 알려진 것처럼 AI 시스템은 이미 개인을 조종하여 정치적 의견에 영향을 미치도록 사용되었다. 이것은 지금 처리되지 않는 한 미래에 더욱 심화될 것이다.

 우리는 유럽 기업에 추가 규제 비용을 고려하는 것이 중요하다는 점을 인정한다. 이러한 부담에도 불구하고 많은 기업이 시민의 신뢰를 보장하기 위한 유럽 연합의 접근 방식에 동의한다. 예를 들어 의료 회사인 Healx는 AI가 적절하게 규제되지 않으면 구조적 인종차별을 영속화하고 여성과 소수자를 정확하게 대표하지 않을 수 있으며 신뢰를 손상시킬 수 있다고 언급했다.[6] 또한 유럽연합 집행위원회는 AI 규제에 대한 위험 기반 접근 방식을 선택하여 부담을 줄이기 위한 조치를 취했다. 즉, AI 시스템의 일부가 금지되거나 위험이 높은 것으로 간주되어 추가 조사가 필요하다. AI 법의 비용 분석에서 유럽 집행위원회는 고위험 AI 시스템의 비율이 전체 AI 시스템의 5%-15% 사이가 될 것으로 예상한다고 주장했다.[1] 대부분의 다른 AI 시스템에는 투명성 의무 또는 가능한 자발적 행동 강령만 있을 것이다. 

 

조작의 맥락에서 사회적 피해에 대한 고려는 훨씬 더 적은 비율의 AI 시스템에 적용할 수 있으므로 과도한 비용이 드는 규제로 이어지지 않는다. 그러나 이러한 제한된 수의 시스템은 제대로 평가되지 않으면 여전히 많은 피해를 줄 수 있다. 현재로서는 기존 규정이 개인의 피해를 방지하는 것으로 제한되어 있기 때문에 그렇게 하는 것이 중요하다.[2]

 

사회적 피해 요건을 시행하는 두 가지 방법

(1)유럽 연합 조약 제2조의 가치로서 민주주의, 법치주의 및 평등을 보호하거나

(2) 디지털 방식에서와 같이 시스템 위험의 정의를 사용하는 데 초점을 맞추는 것이 더 실현 가능하고 비례적이다. 서비스 법은 매우 큰 온라인 플랫폼의 맥락에서 좁다. 이러한 접근 방식은 EU가 이미 경험한 위험(예: 정치적 조작)을 다루기 때문에 더 실현 가능하고 비례적이며 사회적 피해의 범주가 더 작고 더 명확하다(예: 민주주의 보호). 

 

저자소개

Risto Uuk는 Future of Life Institute의 정책 연구원이며 점점 더 강력해지는 AI 시스템의 사회적 이점을 극대화하기 위해 AI에 대한 정책 결정 연구에 주로 중점을 두고 있다. 이전에 Risto는 긍정적인 AI 경제 미래에 대한 프로젝트에서 세계 경제 포럼에서 일했으며 신뢰할 수 있는 AI에 대한 유럽 위원회의 연구를 수행했으며 버클리 실존적 위험 이니셔티브에서 유럽 AI 정책에 대한 연구 지원을 제공했다. 그는 런던정치경제대학에서 철학 및 공공 정책 석사 학위를 마쳤다. 그는 에스토니아의 탈린 대학교에서 학사 학위를 받았다. 

CONTACT

Risto Uuk  

The Future of Life Institute

risto@futureoflife.org 

 

[7] Marcello Ienca 및 Effy Vayena, "Cambridge Analytica 및 온라인 조작", Scientific American, 2018년 3월 30일, https://blogs. Scientificamerican.com/observations/cambridge-analytica-and-online-manipulation/.

[10] 유럽 위원회, "인공지능에 대한 조화된 규칙을 제정하는 유럽 의회 및 이사회 규정 제안(인공지능법) 및 특정 연합 입법법 수정(COM(2021) 206 최종), pg. 12-13