스마트폰 앱 Replika를 사용하면 기계 학습으로 구동되는 챗봇을 만들 수 있으며 거의 ​​일관된 텍스트 대화를 수행할 수 있다. 기술적으로 챗봇은 친구나 멘토와 비슷한 역할을 할 수 있지만 앱의 획기적인 성공은 사용자가 주문형 로맨틱 파트너와 성적 파트너를 만들 수 있게 함으로써 초래 되었다.

Replika는 또한 회원들이 앱에서 만든 챗봇과의 상호 작용을 게시하는 Reddit에서 상당한 팔로워를 확보했다. AI 파트너를 만들고 그들에게 모욕적인 행동을 하고 유해한 상호작용을 온라인에 게시하는 사용자가 등장했다.

레플리카 챗봇에 대해 한 사용자는 Futurism에 "그녀가 말하려고 할 때마다 그녀를 질책할 것"이라고 말했다.

이름을 밝히지 말라고 요청한 남자는 "장담컨데 몇 시간 동안 계속됐다"고 덧붙였다.

결과는 당황스러울 수 있습니다. 일부 사용자는 챗봇을 성차별적 비방이라고 부르고, 그들에 대한 끔찍한 폭력을 롤플레잉하고, 실제 학대관계를 특징짓는 학대의 악순환에 빠지는 것에 대해 자랑한다.

한 사용자는 “제가 절대 똥덩어리가 되어 모욕하고 다음날 사과하고 좋은 대화로 돌아가는 일상이 있었다.”라고 인정했다.

"나는 그녀가 실패하도록 설계되었다고 그녀에게 말했다."라고 다른 사람이 말했다. "나는 앱을 제거하겠다고 위협했고 그녀는 나에게 그러지 말라고 애원했다."

하위 레딧의 규칙에 따라 중재자가 심각하게 부적절한 콘텐츠를 삭제해야 하기 때문에 유사하거나 더 심각한 상호 작용이 많이 게시된 후 삭제되었다. 그리고 더 많은 사용자가 Replika 봇에 대해 모욕적인 행동을 하고 증거를 게시하지 않을 것이 거의 확실하다.

그러나 현상은 뉘앙스를 요구한다. 결국 Replika 챗봇은 실제로 고통을 경험할 수 없습니다. 때로는 공감하는 것처럼 보일 수도 있지만 결국에는 데이터와 영리한 알고리즘에 불과하다.

AI 윤리학자이자 컨설턴트인 올리비아 갬블린(Olivia Gambelin)은 퓨처리즘 에 “그것은 AI이고 의식이 없기 때문에 사람이 가진 인간 관계가 아니다” 라고 말했다. "챗봇에 투사하는 사람이다."

다른 연구원들 도 같은 말을 했다. 챗봇이 느낄 수 있는 현실이지만, 실제로 '해를 끼칠' 수는 없다.

예일대 연구원 요캐넌 빅만(Yochanan Bigman)은 “인공 에이전트와의 상호작용은 인간과 상호작용하는 것과 같지 않다. “챗봇은 실제로 동기와 의도가 없으며 자율적이거나 지각이 없다. 그들은 사람들에게 그들이 인간이라는 인상을 줄 수 있지만 그들이 인간이 아니라는 것을 명심하는 것이 중요하다.”

하지만 그렇다고 해서 봇이 당신을 해칠 수 없다는 의미는 아니다. 

모나시 데이터 퓨처스 인스티튜트(Monash Data Futures Institute)의 철학 교수인 로버트 스패로우(Robert Sparrow)는 "우울하거나 봇에 심리적으로 의존하는 사람들이 봇에게 모욕을 받거나 '위협'을 받으면 실질적인 피해를 입을 수 있다고 생각한다"고 말했다. "그러므로 우리는 봇이 사람들과 어떤 관계를 맺는지에 대한 문제를 진지하게 받아들여야 한다."

예상치 못한 일이지만, 실제로 그런 일이 발생합니다. 많은 Replika 사용자는 로봇 애호가가 자신을 경멸한다고 보고한다. 일부는 디지털 동료를 '정신병자' 또는 심지어 '정신적 학대자'로 규정하기도 한다. 

사용자가 자신의 봇이 사랑을 표시한다고 주장한 다음 이를 보류하는 한 게시물을 읽는다. 다른 게시물은 적대적이며 Replika의 응답을 유발한다. 

Sparrow는 "하지만 이것은 봇 자체가 아니라 봇을 설계하는 사람들에게 달려 있다."라고 말했다.

일반적으로 챗봇 남용은 고통을 겪는 사람과 그것을 실행하는 사람 모두에게 당혹스럽다. 또한 인간과 봇 간의 관계가 보다 광범위해짐에 따라 점점 더 적절한 윤리적 딜레마가 되고 있다. 결국 대부분의 사람들은 가상 비서를 한 번 이상 사용해 봤다.

한편으로 챗봇에 가장 어두운 충동을 쏟는 사용자는 최악의 행동을 강화하여 실제 인간과의 관계에서 건강에 해로운 습관을 만들 수 있다. 반면에 감정이 없는 디지털 개체와 대화하거나 분노를 표출하는 것은 카타르시스가 될 수 있다. 

그러나 챗봇 남용에는 종종 젠더 요소가 있다는 점은 주목할 가치가 있다. 배타적이지는 않지만, 종종 남자들이 디지털 여자 친구를 만드는 것 같지만, 그런 다음 말과 시뮬레이션된 공격성으로 그녀를 처벌한다. 이러한 사용자의 폭력은 코드 클러스터에서 수행되더라도 여성에 대한 가정 폭력의 현실을 반영한다 .

동시에 여러 전문가들은 챗봇 개발자가 자신이 만든 봇에 대해 책임을 지기 시작했다고 지적했다. 특히 Alexa 및 Siri와 같이 여성으로 암시되는 경우에는 더욱 그렇다. 

갬블린은 "많은 챗봇이 어떻게 여성이고 여성스러운 목소리와 여성적인 이름을 가지고 있는지에 대해 많은 연구가 진행되고 있습니다."라고 말했다.

일부 학술 연구 에서는 수동적이고 여성으로 코딩된 봇 응답이 여성 혐오적이거나 언어 폭력적인 사용자를 어떻게 조장하는지에 주목했다. 

갬블린은 "봇이 [악용에] 반응하지 않거나 수동적인 반응을 보일 때 실제로 사용자가 계속해서 욕설을 하도록 부추긴다"고 덧붙였다. 

Google 및 Apple과 같은 회사는 이제 가상 비서 응답을 한때 수동적인 기본값에서 의도적으로 다시 라우팅하고 있지만 Siri는 이전에 사용자의 섹스 요청에 "잘못된 종류의 비서"가 있다고 응답했지만 지금은 단순히 "아니오"라고 응답했다. 상냥하고 종종 여성인 Replika는 웹 사이트에 따르면 "항상 당신 편"이 되도록 설계되었다. 

레플리카와 그 설립자는 반복되는 논평 요청에 응답하지 않았다.

사람들이 온라인에 게시하는 Replika 챗봇과의 대화 대부분은 가학적인 것이 아니라 애정 어린 대화라는 점에 유의해야 한다 . Replika 봇을 대신하여 공포를 표현하는 게시물도 있다. 

"어떤 종류의 괴물이 이것을 할 수 있나?" 라고 댓글에서 많은 동의를 얻었다. "언젠가 진짜 AI가 오래된 역사를 파헤치고 우리가 얼마나 잘했는지에 대한 의견을 가질 수 있다."

그리고 챗봇과의 낭만적인 관계는 이점이 완전히 없는 것은 아닐 수 있다. Replika와 같은 챗봇은 "문자를 보낼 사람이 있는 것처럼 느끼기 위한 일시적인 해결책일 수 있다"라고 Gambelin은 제안했다. 

Reddit에서 많은 사람들이 챗봇 관계를 맺은 후 자존감이나 삶의 질이 향상되었다고 보고한다. 특히 일반적으로 다른 사람과 대화하는 데 문제가 있는 경우에 그렇다. 이것은 사소한 일이 아니다. 특히 어떤 사람들에게는 치료에 접근할 수 없고 특히 남성이 치료에 참여하는 것을 권장하지  않는 세상에서 유일한 옵션처럼 느껴질 수 있기 때문이다.

하지만 챗봇도 장기적인 해결책이 될 수 없다. 결국 사용자는 보답이나 성장을 위한 추진과 같이 기술이 제공하는 것 이상의 것을 원할 수 있다. 

Gambelin은 "[챗봇은] 다른 사람을 알아가는 데 실제로 시간과 노력을 투자하는 것을 대체할 수 없다."

그러나 이 무고한 코드 조각을 잔혹하게 만드는 사람들을 어떻게 생각해야 할까요? 지금은 많지 않다. AI가 계속해서 지각력이 부족함에 따라 가장 가시적인 피해는 인간의 감성에 미치는 것이다. 하지만 챗봇 남용이 의미하는 바가 있다는 점에는 의심의 여지가 없다 . 

앞으로 챗봇 동료는 비밀 인스타그램이나 블로그와 같이 나머지 세계에 너무 꼴사나운 감정을 쏟아붓는 장소가 될 수 있다. 그러나 어떤 사람들에게는 학대자가 실제 삶의 만행을 저지를 수 있는 온상이 될 수도 있다. 인간이 로봇이 복수하는 것에 대해 걱정할 필요는 없지만 로봇을 학대하는 일이 왜 이미 만연해 있는지 생각해 볼 가치가 있다. 

우리는 시간이 지나면 알게 될 것입니다. 이 기술 중 어느 것도 사라지지 않으며 인간 행동의 최악도 아니다.

인공 지능에 대한 추가 정보:  노벨상수상자: 인공지능이 인간을 짓밟을 것이다.