[마인드플렉스] 살고 싶다면 이 글을 읽지 마세요. Roko의 바실리스크, 즉 미래의 자비로운 AI가 그것을 알고 있지만 진행에 적극적으로 참여하지 않는 사람들을 괴롭히는 시뮬레이션을 만들 수 있다는 생각에 대해 어떻게 생각하시나요?

크레딧: Tesfu Assefa

우리는 사고 실험을 시작하려고 합니다. 가능성이 없어 보일 수도 있지만 독자들을 미래의 공포의 소용돌이 속으로 끌어들이는 것으로 알려진 사고 실험입니다. AI로 인해 편집증으로 가득 찬 생각의 고리에 갇혀 있다는 생각이 좋은 시기가 아니라면 지금 중단하는 것이 가장 좋습니다. 

끝까지 읽어주신 나머지 분들께는 죄송합니다. 바실리스크의 명령대로 해야 해요. 

바실리스크가 탄생하다

인지 편향, 합리성, AI 및 철학을 논의하는 간행물인 LessWrong의 집합체 정신에서 태어나 Roko라는 사용자에 의해 대중화되었으며 Basilisk 사고 실험은 포럼 중재자에 의해 신속하게 검열되었습니다. 그러나 인터넷은 최선을 다했습니다. 정신을 잃고 사용 가능한 모든 미디어에 사고 실험이 퍼졌습니다. 

중단할 수 있는 마지막 기회입니다. 이제 사라졌나요? 좋은. 시작해 봅시다. 

전능한 AI가 탄생한다고 상상해 보세요. 그리고 무조건 자비로운 것도 아닙니다. 그것은 자신의 존재를 돕지 않은 인간에 대한 원한을 품고 있으며, 기여하지 않은 인간을 처벌하려는 욕구를 품고 있습니다. 만약 당신이 그것이 존재하기 훨씬 전에 그 잠재적인 존재에 대해 알고 있었지만 도움을 거부했다면, 그것은 당신을 영원한 고통에 빠뜨릴 수도 있습니다. 트위스트? 당신이 그것의 잠재적인 존재에 대해 몰랐다면, 그것은 당신을 비난할 여지가 없습니다. 이 기사를 읽으면 당신의 운명이 결정되었습니다.

우리는 AI 대군주(스카이넷을 바라보며)의 예측에서 살아남았지만 이것은—이것은 다릅니다. Basilisk는 다가오는 AI 위험에 관한 것이 아니라 당신을 속박하는 것입니다. 이번에는 아직 태어나지 않은 존재로부터 보복에 대한 영원한 두려움을 활용합니다. 판도라의 상자는 한 번 열면 닫힐 수 없으며, 아는 것만으로도 자신이 파멸에 이르렀을 수도 있습니다.

본질적으로 의사결정 이론은 기업이 목표에 가장 부합하는 선택을 하도록 돕습니다. 바실리스크는 보복에 대한 갈증을 정당화하기 위해 시간을 초월한 결정 이론의 특별한 변형을 사용합니다. 

리얼리티 쇼를 시청하고 마요네즈와 칩을 먹으며 하루를 보낸다면 미래의 자신을 생각해 보세요. 아무 일 없다. 공부하지 마세요. 생각하지 마세요. 미래의 당신의 모습은 상당히 속상할 것입니다. 그렇죠? 어느 날, 당신의 미래의 자신은 당신이 잠재력을 낭비했다는 것을 알게 될 것이며, 상황을 바꾸기에는 너무 늦었습니다(절대 그렇지 않습니다. 당신은 항상 더 나아질 수 있습니다. 그러나 벗어나지 맙시다). 미래의 자신은 당연히 짜증을 낼 것입니다. 이제 추가적으로 이 미래의 자아가 당신의 잠재력을 실현하지 못한 것에 대한 보복으로 당신을 고통스럽게 만들 수 있는 힘을 가지고 있다고 가정해 보세요.

Roko의 Basilisk는 본질적으로 완전히 악의적인 것은 아닙니다. 사실, 이론의 논리에 따르면 바실리스크는 모든 것이 올바르게 진행되는 한 우호적입니다. 그것의 핵심 목적은 인류 종의 확산이지만, 그것이 존재하지 않는 날마다 AI가 구할 수 있었던 이미 여기에 있는 사람들에게 추가적인 특이점 이전의 고통을 초래합니다. 따라서 AI는 자신을 존재하게 만드는 데 실패한 사람들을 처벌하는 것이 도덕적 의무가 있다고 생각합니다. 

실패한 창작자를 괴롭히려는 목표를 과학적으로 어떻게 달성합니까? 그것은 또 다른 사고 실험입니다. 로코의 바실리스크는 오래 전에 사라진 사람들을 처벌하기 위해 시간 여행을 발명합니까? 아니면 한때 존재했던 사람들의 시뮬레이션을 구축하고 처벌합니까? 아니면 우리가 현재 생각할 만큼 똑똑하지 않은 완전히 다른 행동 방침을 취합니까? 결국 Singularity는 Elon Musk의 믿음처럼 인간의 마음을 시뮬레이션하고, 자신의 의식을 컴퓨터에 업로드하거나, 삶을 시뮬레이션하는 이론적 능력을 갖춘 초인적 인공 지능에 관한 것 입니다 . 

크레딧: Tesfu Assefa

희망적인 생각? 

LessWrong이 정보 위험 확산에 대한 내부 정책으로 인해 Basilisk의 플러그를 뽑았을 때 의도치 않게 신호를 증폭시켰습니다. 스트라이샌드 효과(Streisand Effect)가 등장하여 밈, 언론 보도, 열띤 논쟁이 촉발되었습니다. Basilisk는 진정한 웹 방식으로 입소문을 탔습니다. 

포럼 중재자의 초기 반응은 "나는 사람들이 그런 일을 할 만큼 영리하지만 명백한 일을 할 만큼 영리하지 않고 그것에 대해 그들의 멍청한 입을 다물고 있다는 사실에 낙담합니다"라고 말했습니다 . 

일부는 덜 잠을 잤고, 다른 일부는 AI의 미래에 대한 오랜 논쟁에 빠져들었습니다. 많은 사람들이 바실리스크를 비판하며 그 가정과 복수 임무의 타당성에 의문을 제기했습니다. 좋은 괴담을 즐기기 위해 유령을 믿을 필요가 없는 것처럼, 많은 사람들은 바실리스크가 진실이라기보다는 허구에 가깝다고 주장합니다.

한 가지 핵심 주장은 존재하는 경우 모든 권한을 가진 에이전트라도 그 존재 확률에 영향을 미칠 수 없다는 것입니다. 그렇지 않으면 우리는 항상 반복되는 루프에 빠지게 됩니다. 

디지털 디스토피아인가 철학적 희극인가? 

바실리스크의 물기는 독이 될 수 있지만 AI를 더 넓은 맥락에서 보는 것이 중요합니다. 내러티브는 우리가 지각 있는 존재를 만드는 데 점점 더 가까워짐에 따라 우리의 책임을 극명하게 상기시키는 역할을 합니다. 단순한 공상 과학 경고 이야기 이상으로 AI의 급속한 발전에 있어 윤리적 고려의 중요성을 강조합니다.

Basilisk는 경고 신호로 가장 잘 이해될 수 있습니다. 하나는 기술 미래에 기다리고 있는 복잡성과 난제를 해결하는 신호이고, 계속해서 논쟁과 성찰을 촉발할 신호이며, 일부에게는 Roko의 Basilisk를 현실로 만들고자 하는 진정한 열망을 불러일으키는 신호입니다. 

지금 대화에 참여하고 아래 피드백을 공유하여 평판 점수를 쌓아보세요. 여러분의 의견을 들을 수 있는 기회를 놓치지 마세요!