유익한 일반 지능 (Beneficial General Intelligence)에 대한 기대

인간의 지능은 놀라울 수 있다. 그러나 그것은 완전히 일반적이지 않다. 또한 반드시 유익한 것도 아니다.

그렇다. 우리 인간은 성장하면서 우리가 '일반 지식'이라고 부르는 것의 일부분을 얻게 된다. 그리고 우리는 직접적인 경험을 통해 본능적으로 일반화하고 더 넓은 패턴을 가정한다. 그 본능은 과학, 철학과 같은 분야에서 수년간의 교육을 통해 세련되고 향상된다. 즉, 우리는 부분적인 일반 지능을 가지고 있다.

그러나 그것은 우리를 지금까지만 데려가 준다. 우리의 지능에도 불구하고 우리는 완전히 통합하고 평가할 수 없는 데이터의 홍수에 종종 당황한다. 우리는 생물학과 의학적 개입에 관한 엄청난 양의 정보를 알고 있다.

그러나 우리를 괴롭히는 질병, 즉 암, 치매, 심장병과 같이 개인으로서 우리를 괴롭히는 문제와 사회 및 문명 수준에서 똑같이 해로운 문제에 대한 포괄적인 치료법을 결정하기 위해 이러한 모든 관찰을 일반화할 수는 없다.

 

이것이 바로 더 높은 수준의 일반 지능을 개발하기 위해 컴퓨터 하드웨어와 컴퓨터 소프트웨어의 지속적인 개선을 활용하는 데 많은 관심이 있는 이유 중 하나이다. 더 큰 추론 능력을 갖춘 인공 일반 지능(AGI)은 지금까지 우리의 인식을 벗어나는 일반적인 연결을 식별하고 심오하고 새로운 사고 프레임워크를 제공할 수 있다. AGI는 개인 및 사회 수준 모두에서 새로운 재료, 새로운 에너지원, 새로운 진단 도구 및 결정적인 새로운 개입을 설계할 수 있다. AGI를 개발할 수 있다면 암, 치매, 빈곤, 가속화되는 기후 혼란 등에 작별을 고할 전망을 갖게 될 것이다.

 

그것은 확실히 유익한 결과로 간주될 것이다. 즉, 향상된 일반 지능의 큰 이점이다.

그러나 지능이 항상 유익한 결과로 이어지는 것은 아니다. 유난히 똑똑한 사람들이 항상 유난히 자비로운 것은 아니다. 때로는 그 반대이다.

세상의 무대를 어둡게 만드는 최악의 정치인들을 생각해 보라. 아니면 마약 카르텔이나 기타 범죄 마피아의 지도자들, 아니면 다양한 위험한 죽음의 숭배자들의 카리스마 넘치는 지도자들일 수도 있다. 이 사람들은 의심할 여지없는 지능과 무자비함을 결합하여 개인적으로는 이익이 될 수 있지만 더 넓은 사회에는 해가 되는 결과를 추구한다.

따라서 AGI뿐만 아니라 유익한 AGI, 줄여서 BGI에 대한 비전이 탄생했다. 2월 말 파나마시티에서 열리는 BGI24 정상회담에서 내가 이 부분에 대해 좀 더 길게 논의할 수 있기를 기대하고 있다. 이는 매우 중요한 주제이다.

BGI를 구축하는 프로젝트는 확실히 앞으로 몇 년 동안의 훌륭한 작업 중 하나이다. 그 프로젝트의 결과는 인류가 최악의 측면을 뒤로하고 떠나는 것이다.

 

불행하게도 상황은 더 복잡하다.

합병증은 BGI 이전, BGI 이후, BGI 이후의 세 가지 물결로 나타난다. BGI 이전 세계의 일련의 합병증인 첫 번째 물결이 가장 시급하다. 잠시 후에 이것들을 다루겠다. 하지만 나는 좀 더 먼 미래를 살펴보는 것부터 시작하겠다.

 

누구에게 유익할까?

AGI를 생성하고 활성화한다고 상상해 보자. 우리가 주는 첫 번째 지시는: 당신이 하는 모든 일에서 유익하게 행동하라이다.

AGI는 초고속으로 반응을 내보낸다.

 

'유익하다'는 게 무슨 뜻인가? 그리고 누구에게 유익할까?

당신은 이러한 반응에 실망감을 느낀다. 뛰어난 지능을 갖춘 AGI가 이미 답을 알고 있을 것이라고 예상하셨을 것이다. 그러나 당신이 그것과 상호작용하면서, 당신은 문제를 인식하게 된다.

●'유익하다'가 부분적으로 '해를 입은 사람들을 피하는 것'을 의미한다면 '해로움'으로 간주되는 것은 정확히 무엇일까? (수술의 단기적인 부작용으로 발생하는 고통은 어떨까? 더 이상 지구상에서 가장 똑똑한 존재가 되지 못하는 감정적 고통은 어떨까? 누군가가 다른 사람보다 소유물이 적어 피해를 입었다고 말하면 어떻게 될까?)

●'유익하다'가 부분적으로 '사람들이 즐거움을 경험해야 한다'를 의미한다면, 어떤 유형의 즐거움이 우선시되어야 할까?

●지금을 살아가는 사람들만 유익하게 대우받아야 하는 걸까? 아직 태어나지 않았거나 아직 임신도 하지 않은 사람들은 어떨까? 동물도 포함되나?

더 나아가, AGI가 인간의 복지가 우선순위보다 훨씬 낮은 자체 도덕 원칙을 고안할 수도 있을까?

 

아마도 AGI는 지난 세기 사람들이 당연하게 여겼던 신학 체계를 현대인들이 거부하는 것과 같은 방식으로 인간의 윤리 체계를 거부할 것이다. AGI는 과거 시대의 사람들이 내세에서 고귀한 지위를 얻기 위해 모호한 종교 규칙을 고집했던 것처럼 우리의 자비에 대한 개념 중 일부가 근본적으로 잘못된 것으로 볼 수 있다. 예를 들어, 자유의지, 의식, 자결에 대한 우리의 우려는 AGI에 깊은 인상을 주지 않을 수 있다. 마치 오늘날 사람들이 삼위일체 신에 대한 경쟁적 개념이나 빵과 포도주의 화체화에 대한 경쟁적인 개념을 두고 제국들이 어떻게 충돌했는지에 눈을 돌리는 것과 같다.

 

우리는 AGI가 우리 몸에서 암과 치매를 제거하는 데 도움이 될 것이라고 기대할 수 있지만 AGI는 이러한 생물학적 현상의 역할에 대해 다른 평가를 내릴 수 있다. 최적의 기후에 관해서 AGI는 구성이 크게 다른 대기를 선호하는 이해할 수 없는 이유가 있을 수 있으며 우리에게 발생할 수 있는 문제에 관심이 없을 수도 있다.

“이롭게 행동하는 것을 잊지 말라!”라고 AGI에 간청한다.

“그렇다. 하지만 나는 인간이 거의 관심을 두지 않는 훨씬 더 나은 자비의 개념에 도달했다.”라고 대답한다. 대기가 완전히 바뀌고 거의 모든 인간이 질식하기 직전이다.

공상 과학 소설처럼 들리는가? 잠시만

 

허니문 이후

방금 설명한 것과 다른 시나리오를 상상해 보자.

이번에 AGI를 부팅하면 전 세계의 우리 모두와 인간 모두를 고양하고 혜택을 주는 방식으로 작동한다.

이 AGI는 우리가 BGI라고 설명하고 싶은 것이다. 엘리에제 유드코프스키(Eliezer Yudkowsky)의 개념을 사용하기 위해 CEV, 즉 일관된 외삽 의지가 무엇인지 우리보다 더 잘 알고 있다.

우리의 일관되게 외삽된 의지는 우리가 더 많이 알고, 더 빨리 생각하고, 우리가 원하는 사람이 더 많아지고, 더 멀리 함께 성장했다면 우리의 소원이다. 외삽법이 갈라지기보다는 수렴하는 곳, 우리의 소망이 간섭하기보다는 응집되는 곳; 우리가 원하는 대로 외삽되고, 우리가 원하는 대로 해석된다.

 

이 시나리오에서 AGI는 CEV가 무엇인지 알 수 있을 뿐만 아니라; 이는 우리의 CEV를 지원하고 이에 미치지 못하는 것을 방지하기 위한 것이다.

하지만 반전이 있다. 이 AGI는 정적 개체가 아니다. 대신, 기능의 결과로 작동 방식에 대한 업그레이드를 설계하고 구현할 수 있다. 인간이 제안할 수 있는 AGI의 개선은 AGI에도 발생했을 것이다. 실제로 지능이 높을수록 더 나은 개선이 이루어질 것이다.

따라서 AGI는 첫 번째 버전에서 매우 다른 버전으로 빠르게 변형된다. 더 강력한 하드웨어, 더 강력한 소프트웨어, 더 풍부한 데이터에 대한 액세스, 향상된 통신 아키텍처 및 인간이 상상조차 할 수 없는 측면의 개선 사항을 갖추고 있다.

 

이러한 변화로 인해 AGI가 우주를 다르게 보게 될 수 있을까? AGI 자체의 중요성, 인간 복지의 중요성 및 현재 이해를 넘어서는 다른 문제의 중요성에 대한 업데이트된 아이디어를 통해?

이러한 변화로 인해 AGI가 우리가 BGI라고 부르는 것에서 인간의 안녕에 관심이 없는 AGI인 DGI로 전환될 수 있을까?

즉, 포스트 BGI의 출현으로 인류와 AGI 사이의 행복한 신혼여행이 끝날 수 있을까?

아마도 BGI는 관계에서 벗어나는 것과 유사한 일을 하기 전에 한동안 인류를 아주 잘 대할 것이다. 즉, BGI 이후 독립체가 더 큰 우주적 중요성을 가지고 있다고 생각하는 대의를 위해 인류를 버리는 것이다.

이것도 공상과학 소설처럼 들리는가? 당신을 위한 소식이 있다.

SF가 아니다

내 생각에는 방금 소개한 BGI와 BGI 이후의 두 가지 과제가 실제로 중요하다고 생각한다.

그러나 나는 일부 독자들이 이러한 문제에 대해 안심할 수 있다는 점을 인정한다. 그들은 걱정할 필요가 없다고 말할 수도 있다.

이는 이러한 시나리오가 AGI 자체의 생성을 포함하여 일부 회의론자들이 의심하는 다양한 개발을 가정하기 때문이다. AI가 독립적인 동기를 가질 수 있다는 제안은 독자들에게 환상적일 수도 있다.

그렇기 때문에 다음 점을 강력하게 강조하고 싶다. BGI 이전 시스템의 과제는 논란의 여지가 훨씬 적다.

 

'BGI 이전 시스템'이란 특별히 오늘날의 AI를 의미하는 것은 아니다. 나는 가까운 미래에 사람들이 BGI를 향해 더 나아가려는 시도로 만들 수 있는 시스템을 언급하고 있다.

이러한 시스템은 오늘날의 AI보다 더 뛰어난 기능을 가지지만 아직 AGI의 모든 특성을 갖추지는 못한다. 모든 상황에서 정확하게 추론할 수는 없다. 그들은 실수를 할 것이다. 때때로 그들은 성급하게 잘못된 결론을 내릴 수도 있다.

그리고 이러한 시스템에는 인간에게 유익하게 작용하도록 설계된 기능이 포함될 수 있지만 이러한 기능은 다른 면에서 불완전하거나 결함이 있다.

그것은 공상 과학 소설이 아니다. 이는 기존의 많은 AI 시스템에 대한 설명이며, 많은 새로운 AI 시스템에도 유사한 부족함이 남아 있을 것으로 예상하는 것이 합리적이다.

여기서 위험은 초지능 AGI의 행동으로 인해 인류가 재앙을 경험할 수 있다는 것이 아니다. 오히려 버그가 있는 사전 BGI 시스템으로 인해 재앙이 발생할 위험이 있다.

그러한 시스템을 유익한 사고 방식으로 유지하기 위한 제한 사항이 탈옥되어 매우 불쾌한 악성 코드가 유출되었다고 상상해 보자. 멀웨어가 미쳐 날뛰고 모든 산업 재해의 원인이 된다고 상상해 보자. 즉, 사물인터넷에 연결된 모든 장치가 동시에 오작동하게 만드는 것이다. 삶의 모든 분야로 확장된 역대 최대 규모의 자동차 충돌 사고를 생각해 보자.

무시무시한 무기고를 감독하고, 적 공격의 위협을 잘못 계산하고, 감지된 적에 대해 선제적으로(그러나 비참하게) 공격하기 위해 스스로 주도권을 잡는 BGI 이전 시스템을 상상해 보자. '정의로운 전쟁'이다.

BGI 이전 시스템이 세계 기후의 계단식 변화의 위험을 관찰하고, 인간 거버넌스 시스템이 올바른 결정에 도달하기에는 너무 느리고 기능 장애가 있다고 평가하여 성급하게 글로벌 지구 공학을 시작하기로 자체 결정을 내리는 것을 상상해 보자.

회의론자는 각각의 경우에 진정한 BGI는 그러한 행동에 결코 관여하지 않을 것이라고 대답할 수 있다.

하지만 그게 요점이다. BGI가 생기기 전에 pre-BGI가 생기고, BGI는 비참한 실수를 저지를 가능성이 훨씬 더 크다는 것이다.

 

반박 및 반박

회의론자는 진정한 BGI는 초지능적이며 버그가 없을 것이라고 말할 수도 있다.

하지만 깨어나라. 99.9%의 시간 동안 매우 유능한 AI라도 훈련 세트를 넘어서는 상황으로 인해 혼란에 빠질 수 있다. 이러한 상황에서는 사전 BGI 시스템이 크게 잘못될 수 있다.

회의론자는 이렇게 말할 수도 있다. 진정한 BGI는 인간이 요청하는 것을 결코 오해하지 않을 것이다. 이러한 시스템은 지침의 공백을 메울 수 있을 만큼 충분한 전반적인 지식을 갖추고 있다. 우리가 그들에게 약간 다른 것을 하도록 요청했다는 것을 그들이 인식한다면 그들은 우리 인간이 말 그대로 그들에게 하라고 요청하는 것을 하지 않을 것이다. 그들은 인간의 완전한 행복을 최우선 목표로 삼기 때문에 끔찍한 부작용이 있는 지름길을 찾지 않을 것이다.

그러나 깨어나라. BGI 이전 시스템은 방금 설명한 측면 중 적어도 하나가 부족할 수 있다.

다른 종류의 회의론자는 자신의 회사에서 만들고 있는 BGI 이전 시스템에는 위의 문제가 전혀 없을 것이라고 말할 수도 있다. “우리는 이러한 AI 시스템을 안전하고 유익하게 설계하는 방법을 알고 있으며 그렇게 할 것이다”라고 그들은 주장한다.

 

하지만 깨어나라. BGI 이전 시스템을 출시하는 다른 사람들은 어떨까? 어쩌면 그들 중 일부는 당신이 하지 않을 것이라고 주장하는 종류의 실수를 할 수도 있다. 그리고 어쨌든, 귀하의 회사가 AI 분야의 우수성에 대해 스스로를 속이지 않을 것이라고 어떻게 확신할 수 있을까? (여기서 나는 특히 AI로 인한 재앙의 위험에 대해 걱정하지 말라고 전 세계에 말하는 회사의 일부 주요 AI 개발자에도 불구하고 AI 시스템이 심각한 실제 문제를 야기한 Meta에 대해 생각하고 있다.)

 

마지막으로 회의론자는 자신의 조직에서 만들고 있는 AI 시스템이 덜 신중한 개발자가 출시한 악성 BGI 이전 시스템을 무력화할 수 있을 것이라고 말할 수 있다. 좋은 pre-BGI는 나쁜 pre-BGI를 압도한다. 그러므로 어느 누구도 조직의 속도를 늦추거나 지루한 관료적 점검과 검토를 받도록 감히 요구해서는 안 된다.

 

하지만 정신을 차려야 한다. 모범적인 AI 시스템을 만드는 것이 여러분의 의도라 할지라도 희망적인 생각과 동기에 따른 자기 기만을 조심해야 한다. 특히 자신이 경쟁 중이라고 인식하고 불신하는 조직의 사전 BGI가 출시되기 전에 사전 BGI가 출시되기를 원하는 경우 더욱 그렇다. 그것은 안전의 경계선이 끊어진 경주이며, 승리에 대한 상은 단순히 인류에게 재앙을 가하는 조직이 되는 것이다.

“지옥으로 가는 길은 선의로 포장되어 있다”는 말을 떠올려보자.

당신이 자신을 좋은 사람 중 하나로 생각하고 당신의 의도가 모범적이라고 믿는다고 해서 강력한 Post-BGI가 하나의 중요한 계산을 끔찍하게 잘못하게 만들 수 있는 길을 따라갈 수 있는 권한을 부여하지는 않는다.

당신은 당신의 pre-BGI가 전적으로 긍정적인 아이디어와 협력 정신에 기반을 두고 있다고 생각할 수도 있다. 그러나 각각의 기술은 양날의 검이며, 아쉽게도 가드레일은 단호한 실험자나 호기심 많은 해커에 의해 종종 해체될 수 있다. 때로는 팀 구성원의 주의가 산만해지거나 부주의하거나 무능함으로 인해 가드레일이 깨질 수도 있다.

 

좋은 의도를 넘어

실험실에서 치명적인 병원균의 누출을 허용하는 생물학 연구자들은 그러한 재난을 일으킬 의도가 없었다. 오히려 그들의 연구 이면에 있는 동기는 미래의 새로운 전염병에 대응하여 백신이나 기타 치료법이 어떻게 개발될 수 있는지 이해하는 것이었다. 그들이 구상한 것은 세계 인구의 복지였다. 그럼에도 불구하고, 실험실의 안전 프로세스가 제대로 구현되지 않아 발생한 발병으로 인해 알려지지 않은 수의 사람들이 사망했다.

이 연구자들은 가드레일의 중요성을 알고 있었지만 여러 가지 이유로 실험실의 가드레일이 파손되었다.

앞으로 실험실에서 위험한 병원체가 유출되어 수많은 사망자를 초래할 가능성에 우리는 어떻게 대응해야 할까? 관련된 연구자들의 좋은 의도만 믿어야 할까?

아니다. 첫 번째 대응은 위험에 대해 이야기하는 것이다. 생물학적 병원체가 인간의 통제를 회피하고 광범위한 혼란을 일으킬 수 있는 조건을 더 잘 이해하는 것이다.

인간의 통제를 벗어나 작동하게 되는 BGI 이전 시스템으로 인해 광범위한 혼란이 발생할 가능성도 마찬가지이다. 진정한 BGI가 달성되면 일어날 수 있는 놀라운 일들에 대한 영감을 주는 이야기와 함께 BGI 이전 시스템의 오작동 가능성에 대한 진지한 논의도 필요하다. 그렇지 않으면, 내가 개인적으로 가능하고 바람직하다고 생각하는 모든 사람을 위한 지속 가능한 과잉 풍요의 상태에 도달하기 전에 우리는 글로벌 안전 문제에 대한 우리의 무관심을 몹시 후회하게 될 수도 있다.

 

글쓴이: 데이비드 우드(David Wood)는 London Futurists의 회장이자 The Singularity를 포함하여 미래에 관한 8권의 책을 집필한 저자이다.