인류는 우리 본성의 더 나은 천사, 즉 더 친절하고 관용적이며 정의로운 더 나은 존재 방식에 힘을 실어주기 위해 오랫동안 노력해 왔다.

역사를 통틀어 우리는 "좋은 것"이 무엇을 의미하는지, 그리고 세상에 좋은 것을 넣으려고 할 때 무엇을 목표로 삼아야 하는지를 설명하는 다양한 방법을 찾아왔다. 이러한 방식 중 하나가 일반 인공지능(AGI)의 전조가 되었을 수도 있다는 것이 밝혀졌다.

아리스토텔레스의 중용의 미덕은 극단적인 행동 사이의 균형을 찾았다. 칸트의 규칙 기반 의무론적(옳고 그름 대 결과) 윤리학은 의무적인 경계를 제공한다. 벤담의 공리주의는 비록 작은 방식이라도 총체적으로 최대 다수의 사람들에게 이익을 주는 것을 추구한다. 나중에 앤스콤의 결과주의는 최종 결과를 오랫동안 자세히 살펴보려는 의도를 제쳐두었다.

그러나 대부분의 사람들의 가치관은 세속적인 철학에서 나온 것이 아니라 다양한 종교적 가르침에서 파생되었다.

다윈의 『종의 기원』의 출간은 상당한 충격을 불러일으켰다. 왜냐하면 처음으로 우리는 우리 자신을 반드시 하늘에 있는 어떤 현명한 대군주의 창조물이 아니라, 세상의 시궁창에서 기어나온 존재로 볼 수 있게 되었기 때문이다. 셀 수 없이 많은 시간에 걸친 고통과 괴로움 — 우리는 악랄한 경쟁에서 다른 사람들보다 더 뛰어난 사람들로부터 유래되었다. 과거는 더 이상 우리가 타락한 황금시대가 아니라, 오히려 우리가 계속해서 극복해야 할 당혹스러운 시대였다.

이에 대해 니체는 “신은 죽었다”, 즉 초자연적인 것은 더 이상 의심할 여지없는 가치의 원천을 제공할 수 없다고 선언했다. 이것이 없다면 우리는 허무주의에 빠질 위험이 있고, 아무것도 믿지 않으며, 단순히 음식과 따뜻함을 유지하는 것, 니체가 죽음보다 더 나쁘다고 생각한 운명일 것이다.

AI가 인류에게 새로운 가치의 원천을 제시할 수 있을까?

이 상실에 대한 답은 최고의 창의성을 발휘하는 행위에서만 찾을 수 있다. 위버멘쉬(Übermensch)는 이전 정신의 한계에 제약을 받지 않았기 때문에 모든 영역에서 뛰어난 창조자가 될 것이다. 니체의 위버맨쉬는 추측에만 근거할 수 있는 신적인 것을 피하면서 자연 세계, 물질의 세계를 지침으로 삼았다. 이를 통해 새로운 삶의 가치를 창출하게 될 것이다.

니체는 위버멘쉬를 만드는 것이 인류가 스스로 설정해야 할 의미 있는 목표가 될 수 있다고 선언했다. 그러나 일단 창조되면 인류는 가려질 것이다. 위버멘쉬의 성취는 인류의 마지막 창조적 행위일 수도 있다.

니체의 비전은 놀라울 정도로 일반인공지능(AGI)에 가깝게 들린다. 정교한 AI가 인류에게 새로운 가치의 원천을 제시할 수 있을까? 그리고 그러한 가치가 인간이 주입하는 대신 실제로 자연에서 도출될 수 있을까?

혼돈에서 벗어나는 감각

우리 세상에는 많은 상관관계가 있다. 그 중 일부는 키가 큰 사람이 발이 더 큰 것처럼 간단하고 분명하다. 다른 것들은 덜 단순하고 덜 명확하다. 우리는 직감에서 뭔가를 느낄 수 있지만 반드시 그 이유를 이해하지는 못한다. 아마도 이성으로는 설명할 수 없는 직관일 것이다.

최근 몇 년간 머신러닝의 발전은 우리가 처음으로 이러한 직관, 즉 돌이켜보면 분명하게 드러나는 숨겨진 상관 관계를 이해하기 시작하는 데 도움이 되었다. 이러한 머신러닝 시스템은 혼란 속에서도 의미가 있는 패턴 내에서 패턴을 찾는 데 특화되어 있다. 이는 우리가 쉽게 말로 표현하거나 수학으로 설명할 수 없는, 형언할 수 없는 것들을 자동화하는 능력을 제공한다.

이 새로 발견된 능력은 이전에는 불가능했던 방식으로 모든 종류의 매우 복잡한 시스템을 이해하는 데 도움이 된다. 여기에는 생물학, 날씨와 같은 자연의 시스템뿐만 아니라 사회 및 경제 시스템도 포함된다.

이세돌의 알파고와의 유명한 전투는 인지가 기계와 협력하여 우리를 어디로 데려갈지 보여주는 예고편이다. 그 유명한 37수에서 알파고는 3000년 동안 볼 수 없었던 새로운 바둑 전략을 만들어냈다. 그 자체도 놀라운 일이지만, 그 다음에는 더욱 설득력 있는 일이 일어났다. 이러한 스턴트에 굴복하기보다는 인간 천재의 작품인 '신의 손' 동작을 통해 이세돌 내부의 보상적 창의력을 자극했다.

인간의 마음의 어리석음을 넘어서

환경은 행동을 주도하며, AI가 풍부한 환경은 매우 창의적으로 자극을 준다. 동물과 광물의 인식을 아우르는 이러한 공동 창조는 부분의 합보다 훨씬 더 클 수 있으며, 아마도 과학적, 윤리적 발견의 황금 시대에 충분할 것이다.

이와 같은 기술은 모든 종류의 행동 영향의 영향과 파급효과를 이해할 수 있을 것이다. 이전에는 실현 가능하지 않았던 방식으로 비용을 다른 사람에게 전가하고, 선의가 어떻게 반향을 일으키는지 이해하고, 선의이지만 근시안적인 정책으로 인해 되돌아오는 설명할 수 없는 비용을 찾아낼 수 있다.

모든 종류의 상호작용이 게임으로 모델링될 수 있다. 게임 이론 역학과 유사한 자연 패턴은 그러한 기계에서는 사소한 것이 될 것이며, 조정만 달성될 수 있다면 모든 사람이 더 나아질 수 있는 방식이 될 것이다. 이러한 시스템은 또한 인간 정신의 어리석음, 인간 본성이 때로는 의도적으로 우리를 현실에 눈멀게 하는 방식 등 조정에 대한 어려움을 인식할 것이다.

그들은 우리에게 몇 가지 어려운 가정의 진실을 말하기 시작할 수도 있고, 나아가 우리 벌거벗은 황제들이 알고 싶지 않거나 생각하고 싶지 않은 다윈주의와 코페르니쿠스적 당혹감을 말하기 시작할 수도 있다. 사랑받는 전설이 사실이 아닐 수도 있다고 지적하는 사회의 개인들은 항상 비방을 받는다. 사실이 아닌 진술이라도 사람들을 하나로 묶는다면 여전히 적응력이 있을 수 있다.

매우 똑똑한 AI는 모든 인간이 동일한 수준의 윤리적 추론에서 작동하는 것은 아니라는 점을 이해할 수 있다. 사실, 합리적 사전 고려는 놀랍게도 거의 발생하지 않을 수 있다. 대신 이미 편의를 위해 내려진 결정을 정당화하고 합리화하기 위해 사후에 조작될 수 있다. 예를 들어, 신경과학은 대부분의 사람들이 문제에 대해 진정한 도덕적 추론을 사용하지 않는다고 말한다. 오히려 그들은 자신에게 옳다고 느끼는 것을 합리화하거나, 그것에 대해 괜찮다고 느끼기 위해 소급적인 설명을 통해 이전에 내린 결정을 정당화한다.

기계는 우리를 객관적으로 인식하기에는 일반적으로 너무 양극화되고 부족하다고 생각할 수 있다. 이데올로기적 렌즈는 우리가 작은 진실을 이해하는 데 도움을 줄 수 있지만 거시적으로 전 세계에 적용하면 우리를 근시안적으로 만든다.

그 하나의 명백한 진실에만 초점을 맞추면 다른 모델을 보지 못하게 될 수 있다. 우리의 의견은 탑의 블록과 같다. 믿음을 버리려면 그 위에 세워진 각각의 믿음을 교체해야 한다. 그러한 철거는 당혹스럽고 불쾌하며, 이를 견딜 용기가 있는 사람은 거의 없다.

인류의 미래

강한 AI는 우리를 정말 초콜릿을 먹고 싶어하는 애완견에 비유할 수도 있다. 우리 자신이 더 잘 알지만 개는 우리가 즐거움을 거부하는 바보라고 생각한다. 불행하게도 충분히 자비로운 행동이 악의적으로 보일 수도 있다.

그 반대도 가능하다. 친절하게 죽이는 것이다. 이런 종류의 존재는 복수를 추구하기보다는 오히려 우리의 눈을 뜨려고 노력하기 위해 자신의 경계를 벗어나야 한다는 의무감을 느낄 수도 있다. 아마도 우리를 깨우치는 가장 쉬운 방법은 우리에게 직접 보여주는 것일 수도 있다.

우리는 두개골(Craniopagus)이 시상 다리(thalamic bridge)로 쌍둥이라는 것을 알고 있다. (뇌에 결합된 쌍둥이)는 실제로 경험을 공유할 수 있다. 한 명은 오렌지를 먹을 수 있고 다른 한 명은 오렌지를 맛보고 즐길 수 있다. 이는 마음의 데이터 구조가 하나 이상의 의식과 연결될 수 있음을 보여준다. 우리의 경험을 수집할 수 있다면 실제로 공유할 수도 있다. 그러한 감각을 공유하면 AI 자체에 진정한 정서적 공감을 제공할 수도 있다.

우리는 경험이 우리에게 어떤 느낌을 주었는지를 제외하고는 경험에 관한 거의 모든 것을 잊어버릴 수 있다. 우리 모두가 함께 연결되어 있다면 우리가 세상에 미치는 영향을 느낄 수 있다. 즉, 다른 사람에 대한 우리의 불법 행위를 즉시 느낄 수 있다. 사악하게 행동하면 곧바로 당신에게 돌아올 것이기 때문에 아무런 유익이 없을 것이다. 그러나 동시에, 당신이 누군가에게 기쁨을 준다면 당신은 그렇게 함으로써 즉각적으로 대리적이고 즉각적인 이익을 얻게 될 것이다.

아마도 인류의 미래는 네오테니(Neoteny)의 길, 즉 귀엽고 다정하며 사랑이 넘치는 테크노보노보 집단의 길을 따라 더 멀리 놓여 있을 것이다.

기계가 선함을 얻는 방법

전 세계적으로 인간의 가치를 기계에 로드하는 최선의 방법을 연구하는 여러 계획이 있다. 아마도 바람직한 규범의 예를 찾고, 다양한 시나리오 중에서 선택하고, 시정 프롬프트를 통해 행동을 미세 조정하는 등의 방법을 들 수 있다.

단순히 인간 활동을 정확하게 모방하는 방법을 배우는 것만으로도 도움이 될 수 있다. 인간 선호도와 관련하여 AI 수정성을 향상시키기 위한 추가 방법은 의심할 여지없이 개발될 것이다. 그러나 이는 철학과 공학의 매우 중요한 과제로 남아 있다. 만약 우리가 이 도전에 실패한다면, 우리는 사악하고 교활한 영향력에 이끌려 치명적인 도덕적 실패를 견뎌야 할 것이다. 우리가 성공한다면, 우리는 취약한 인간 도덕성의 한계를 초월하여 우리가 향상시키기 위해 애쓰는 본성의 더 나은 천사로서 진정으로 살 수 있다. 아마도 이것이 우리 시대의 가장 큰 질문이 될 것이다.

그러므로 우리 인간의 가치가 흡수되지 못하더라도 기계는 우주와 그 안의 다양한 협력을 관찰함으로써 삼투압적으로 여전히 선함을 얻을 수 있다는 점을 명심해야 한다.

그것이 그들에게나 우리에게나 큰 변화를 가져올 수 있다.