AI 초지능이란 무엇인가? 그것이 인류를 파괴할 수 있을까? 그리고 그것이 정말 곧 올까?
2014년, 영국의 철학자 닉 보스트롬은 불길한 제목의 인공지능(AI)의 미래에 대한 책을 출간했다. 이 책은 초지능: 경로, 위험, 전략이라는 제목으로 출간되었다. 이 책은 인간보다 더 유능한 "초지능"인 고급 AI 시스템이 언젠가 세상을 장악하고 인류를 파괴할 수 있다는 생각을 퍼뜨리는 데 큰 영향을 미쳤다.
10년 후, OpenAI 사장 샘 알트만은 초지능이 "수천 일" 밖에 남지 않을 것이라고 말한다. 1년 전, 알트만의 OpenAI 공동 창립자 일리아 수츠케버는 회사 내에 "안전한 초지능"에 집중할 팀을 구성했지만, 그와 그의 팀은 이제 이 목표를 추구하기 위해 자체 스타트업을 만들기 위해 10억 달러를 모금했다.
그들은 정확히 무슨 말을 하고 있을까? 광범위하게 말해서 초지능은 인간보다 더 지능적인 모든 것이다. 하지만 실제로 그것이 무엇을 의미하는지 분석하는 것은 약간 까다로울 수 있다.
다양한 종류의 AI
내 생각에 AI의 다양한 수준과 종류의 지능에 대해 생각하는 가장 유용한 방법은 미국의 컴퓨터 과학자 메러디스 링겔 모리스(Meredith Ringel Morris)와 Google의 동료들이 개발했다.
그들의 프레임워크는 AI 성능의 여섯 가지 수준을 나열한다. AI 없음, 출현, 유능, 전문가, 거장, 초인. 또한 좁은 범위의 작업을 수행할 수 있는 좁은 시스템과 보다 일반적인 시스템을 구분한다.
좁은 비AI 시스템은 계산기와 비슷하다. 명확하게 프로그래밍된 규칙 세트에 따라 다양한 수학적 작업을 수행한다.
매우 성공적인 좁은 AI 시스템은 이미 많이 있다. 모리스는 1997년에 세계 챔피언 가리 카스파로프(Garry Kasparov)를 유명하게 물리친 딥 블루(Deep Blue) 체스 프로그램을 거장 수준의 좁은 AI 시스템의 예로 들었다.
일부 좁은 시스템은 초인적인 능력을 가지고 있다. 한 가지 예가 Alphafold인데, 머신러닝을 사용하여 단백질 분자의 구조를 예측하고, 그 제작자는 올해 노벨 화학상을 수상했다.
일반 시스템은 어떨까? 이것은 새로운 기술을 배우는 것과 같은 훨씬 더 광범위한 작업을 처리할 수 있는 소프트웨어이다.
일반적인 비AI 시스템은 Amazon의 기계식 터크(Mechanical Turk)와 같은 것일 수 있다. 광범위한 작업을 수행할 수 있지만 실제 사람에게 묻는다.
전반적으로 일반 AI 시스템은 좁은 사촌보다 훨씬 덜 발전했다. 모리스에 따르면 ChatGPT와 같은 챗봇의 최첨단 언어 모델은 일반 AI이지만 아직 "떠오르는" 수준(즉, "숙련되지 않은 인간과 동등하거나 다소 더 우수함")에 있으며 아직 "유능한"(숙련된 성인의 50%에 해당) 수준에 도달하지 못했다.
따라서 이러한 계산에 따르면 우리는 여전히 일반 초지능에서 어느 정도 거리가 있다.
AI는 지금 얼마나 지능적일까?
모리스가 지적했듯이, 주어진 시스템이 어디에 있는지 정확히 판단하려면 신뢰할 수 있는 테스트나 벤치마크가 필요하다.
벤치마크에 따라 DALL-E와 같은 이미지 생성 시스템은 거장 수준일 수도 있고(인간의 99%가 그리거나 칠할 수 없는 이미지를 생성할 수 있기 때문), 또는 등장할 수도 있다(변형된 손과 불가능한 물체와 같이 인간이 하지 않는 오류를 생성하기 때문).
현재 시스템의 기능에 대해서도 상당한 논쟁이 있다. 주목할 만한 2023년 논문 중 하나는 GPT-4가 "인공 일반 지능의 불꽃"을 보였다고 주장했다.
OpenAI는 최신 언어 모델인 o1이 "복잡한 추론을 수행할 수 있고" 많은 벤치마크에서 "인간 전문가의 성과와 경쟁한다"고 말한다.
그러나 Apple 연구원의 최근 논문에서는 o1과 다른 많은 언어 모델이 진정한 수학적 추론 문제를 해결하는 데 상당한 어려움이 있다는 것을 발견했다. 그들의 실험은 이러한 모델의 출력이 진정한 고급 추론보다는 정교한 패턴 매칭과 유사한 것처럼 보인다는 것을 보여준다. 이는 많은 사람이 예상했던 만큼 초지능이 곧 실현되지 않을 것임을 시사한다.
AI는 계속해서 더 똑똑해질까?
일부 사람들은 지난 몇 년 동안 AI의 급속한 발전 속도가 계속되거나 심지어 가속화될 것이라고 생각한다. 기술 회사들은 AI 하드웨어와 기능에 수천억 달러를 투자하고 있으므로 불가능한 일은 아닌 듯하다.
만약 이런 일이 일어난다면, 우리는 실제로 샘 알트먼이 제안한 "수천 일" 내에 일반적인 초지능을 볼 수 있을 것이다(덜 과학적인 용어로 10년 정도). 수츠케버와 그의 팀은 그들의 초정렬 기사에서 비슷한 기간을 언급했다.
AI의 최근 성공 사례 중 다수는 "딥 러닝"이라는 기술을 적용한 데서 비롯되었는데, 간단히 말해서, 이는 거대한 데이터 모음에서 연관 패턴을 찾는 것이다. 실제로 올해 노벨 물리학상은 존 홉필드와 "AI의 대부" 제프리 힌튼에게 수여되었는데, 그들은 오늘날 사용되는 많은 강력한 딥 러닝 모델의 기초가 되는 홉필드 네트워크와 볼츠만 머신을 발명한 공로를 인정받았다.
ChatGPT와 같은 일반 시스템은 인간이 생성한 데이터에 의존해 왔으며, 그 대부분은 책과 웹사이트의 텍스트 형태이다. 이러한 시스템의 기능 향상은 주로 시스템의 규모와 훈련되는 데이터 양을 늘린 데서 비롯되었다.
그러나 이 프로세스를 훨씬 더 발전시킬 만큼 인간이 생성한 데이터가 충분하지 않을 수 있다(데이터를 보다 효율적으로 사용하고, 합성 데이터를 생성하고, 다른 도메인 간의 기술 이전을 개선하려는 노력이 개선을 가져올 수 있지만). 일부 연구자들은 충분한 데이터가 있더라도 ChatGPT와 같은 언어 모델은 모리스가 일반적인 역량이라고 부르는 것에 근본적으로 도달할 수 없다고 말한다.
최근 논문에서는 초지능의 필수적 특징이 적어도 인간의 관점에서 볼 때 개방성이라고 제안했다. 인간 관찰자가 참신하다고 여기고 학습할 수 있는 출력을 지속적으로 생성할 수 있어야 한다.
기존의 기초 모델은 개방형 방식으로 훈련되지 않았으며, 기존의 개방형 시스템은 매우 좁다. 이 논문은 또한 참신성이나 학습성만으로는 충분하지 않다는 점을 강조한다. 초지능을 달성하려면 새로운 유형의 개방형 기초 모델이 필요하다.
위험은 무엇인가?
그렇다면 이 모든 것이 AI의 위험에 어떤 의미를 갖는가? 단기적으로는 적어도 초지능 AI가 세상을 지배할까봐 걱정할 필요가 없다.
하지만 AI가 위험을 초래하지 않는다는 것은 아니다. 다시 말하지만, 모리스와 그의 동료들은 이를 깊이 생각해 보았다. AI 시스템이 큰 역량을 갖추면 자율성도 더 커질 수 있다. 역량과 자율성의 수준이 다르면 위험도 다르다.
예를 들어, AI 시스템의 자율성이 거의 없고 사람들이 이를 일종의 컨설턴트로 사용할 때(예를 들어 ChatGPT에 문서를 요약해 달라고 요청하거나 YouTube 알고리즘이 시청 습관을 형성하도록 할 때) 우리는 AI를 지나치게 신뢰하거나 지나치게 의존할 위험에 직면할 수 있다.
한편 모리스는 AI 시스템이 더 유능해짐에 따라 주의해야 할 다른 위험도 지적한다. 여기에는 사람들이 AI 시스템과 준사회적 관계를 형성하는 것부터 대량 일자리 대체와 사회 전반의 권태감이 포함된다.
다음은 무엇일까?
언젠가 초지능적이고 완전 자율적인 AI 에이전트가 있다고 가정해보자. 그러면 그들이 권력을 집중시키거나 인간의 이익에 반하는 행동을 할 위험에 직면하게 될까?
반드시 그렇지는 않다. 자율성과 통제는 함께 갈 수 있다. 시스템은 고도로 자동화될 수 있지만 높은 수준의 인간 통제를 제공할 수 있다.
AI 연구 커뮤니티의 많은 사람들과 마찬가지로 저는 안전한 초지능이 실현 가능하다고 믿는다. 그러나 그것을 만드는 것은 복잡하고 학제간적인 과제가 될 것이고, 연구자들은 거기에 도달하기 위해 개척되지 않은 길을 걸어야 할 것이다.
