2023년 9월 10일

AI 훈련 모델 "3년 안에 1000배 커질 것"

 

DeepMind 공동창립자이자 Inflection CEO인 Mustafa Suleyman은 AI가 향후 몇 년 동안 모델훈련 규모가 엄청나게 증가하면서 기하급수적인 발전을 계속할 것이라고 예측한다.

 

 

딥러닝 모델은 2010년대 초반부터 인공지능(AI) 분야를 뒤흔들기 시작했다. 기계 학습의 하위 집합인 이 기술은 뇌의 구조와 기능, 특히 다층 신경망에서 영감을 얻은 알고리즘 덕분에 이미지 및 음성 인식부터 자연어 처리에 이르는 작업에 새로운 기능을 제공했다. 

 

이와 대조적으로 기존 AI는 특정 작업을 위해 "하드 코딩된" 프로그램에 의존하는 경향이 있었고 딥 러닝의 자동기능 학습기능이 부족했다.

 

2017년에 도입된 Transformer 아키텍처는 훨씬 더 발전되고 다양한 모델을 위한 무대를 마련했다. 여기에는 GPT(Generative Pre-trained Transformer) 및 후속 버전이 포함되었다. 

 

GPT-3.5는 2022년에 공개적으로 사용 가능한 ChatGPT로 등장했으며, 최근에는 훨씬 더 뛰어난 기능을 갖춘 4.0으로 업그레이드되었다. 

 

GPT-4의 정확한 모델 크기는 대중에게 알려지지 않았지만, 수천억 개 이상의 매개변수 수를 갖춘 수많은 다른 LLM( 대형 언어 모델 )이 2020년대 초에 출시되었으며 일부는 다중 양식을 특징으로 한다.

 

현재로 빠르게 돌아가면 우리는 변곡점에 와 있다. 알고리즘은 크기와 숙련도 측면에서 기하급수적으로 성장했습니다. 이제 크게 떠오르는 질문은 다음은 무엇일까? 

 

최근 80,000 Hours 와의 인터뷰에서 DeepMind 공동창업자이자 Inflection CEO인 Mustafa Suleyman은 AI가 향후 몇 년 동안 모델 훈련 규모가 엄청나게 증가하면서 계속해서 급속한 발전을 이룰 것이라고 예측했다.

 

예를 들어, 이는 GPT-4의 경우 최대 약 50페이지, GPT-3.5의 경우 단 7페이지인 것과 비교하여 전체 책장 전체를 프롬프트로 입력할 수 있음을 의미할 수 있다. 완전히 새로운 수준으로 발전된 다중 모드 입력은 비디오 콘텐츠에 대한 상세하고 복잡한 분석을 수행할 수 있다.

 

그러나 AI는 암 과 노화 에 대한 새로운 치료법을 찾거나 가상 배우와 함께 완전히 새로운 영화를 만드는 등 과학과 기술의 발전을 가속화할 수 있지만 LLM 및 기타 모델에는 근본적인 위험이 따른다. 

 

이전과 마찬가지로 핵무기와 같이 세상을 변화시키는 기술과 마찬가지로 잘못된 AI가 잘못된 손에 들어가면 실존적 위협이 될 수 있다.

 

Suleyman은 인권 정책 작업을 포함한 경력을 쌓은 후 2010년 DeepMind를 공동 창립했다. 런던에 본사를 둔 회사에서 그는 DeepMind Health 및 Google 데이터 센터의 에너지 효율적인 냉각 시스템과 같은 계획을 주도했을 뿐만 아니라 DeepMind Ethics and Society라는 연구 부서를 설립했다. 

 

2022년 DeepMind와 Google을 모두 떠난 그는 "AI를 활용하여 인간이 컴퓨터와 '대화'할 수 있도록 돕는다"는 목표로 Inflection AI를 공동창립했다. 

 

Inflection은 Pi 라는 챗봇을 출시했다. 개인 지능(Personal Intelligence)을 의미하며 과거 대화를 "기억"하고 시간이 지남에 따라 사용자를 알아가며 필요할 때 사람들에게 정서적 지원을 제공한다. 또한 이 회사는 업계 최대 규모인 22,000개의 NVIDIA H100 GPU를 탑재한 슈퍼컴퓨터를 구축했다.

 

Suleyman은 이번 주에 출판된 자신의 신작 The Coming Wave: Technology, Power, and the Twenty-1 Century's Greatest Dilemma에 대해 이야기하면서 시작 했으며, 이 책은 "AI 및 기타 빠르게 발전하는 기술이 제기하는 전례 없는 위험에 대한 긴급 경고"라고 설명했다. 세계 질서와 기회가 있을 때 이를 억제할 수 있는 방법에 대해 설명한다."

 

이 책은 앞으로 수십 년에 대한 걱정스러운 그림을 그린다. 그러나 Suleyman은 80,000 Hours의 Robert Wiblin에게 다음과 같이 말하면서 자신이 현실주의자라고 주장했다.

 

"그래서 사람들은 특히 미국에서 비관적인 전망에 대한 두려움을 갖고 있습니다. 내 말은, 사람들이 나에게 와서 '당신은 그렇게 생각하는 것 같다'고 말하는 횟수가 많다는 뜻입니다. 상당히 비관적이다.' 아니, 나는 단지 이런 단순한 '당신은 낙천주의자입니까, 아니면 비관주의자입니까?'에 대해서는 생각하지 않을 뿐입니다. 끔찍한 프레이밍입니다. 학사입니다. 나도 아닙니다. 나는 단지 내가 보는 대로 사실을 관찰하고 있으며, 내가 본 것을 비판적인 공개 조사를 위해 공유하기 위해 최선을 다하고 있습니다. 내가 틀렸다면 찢어서 토론해보자. 그러나 어느 쪽이든 이러한 편견에 기대지는 말자."

 

 

 

다가오는 물결(The Coming Wave) 에서 무스타파는 신흥 기술의 부정적이고 예상치 못한 결과를 제한하기 위해 세계가 시급히 취해야 할 10가지 단계를 설명한다.

• 기술적인 AI 안전을 위한 Apollo 프로그램 개발
• AI 모델에 대한 역량 감사 기관
• 하드웨어 병목 지점을 활용하여 시간 벌기
• AI 모델 직접 엔지니어링에 비판가 참여하기
• AI 연구소가 이익 이외의 동기에 따라 안내받도록 하기
• 정부의 지원금을 대폭 늘리기 AI와 이를 현명하게 규제할 수 있는 능력에 대한 이해
• 가장 위험한 AI 기능의 확산을 방지하기 위한 국제 조약 만들기
• 현상 유지가 작동하지 않을 때 공개적으로 받아들이는 AI 연구소의 자기 비판적 문화 구축
• 대규모 대중 운동 창출 AI를 이해하고 필요한 제어를 요구할 수 있는
• 지연에 너무 많이 의존하지 말고 대신 다소 안정적인 새로운 균형으로 이동하려고 노력하세요.

인터뷰에서는 이러한 위협이 얼마나 빨리 나타날 수 있는지에 대해 다루었다.

Rob Wiblin: 좋습니다. 아마도 아이디어는 단기적인 것일 수 있습니다. 향후 몇 년 동안 우리는 오용에 대해 걱정해야 합니다. 인간의 도움을 받아 나쁜 일을 하도록 지시하는 모델은 임박한 문제입니다. 인간의 지원 없이 그리고 이를 통제하려는 인간의 노력에 반하여 다소 통제할 수 없는 모델이 보다 자율적으로 행동하는 반면, 이는 10년 후와 그 이후에 우리가 생각할 수 있는 것입니다. 그게 당신 추측인가요?

 

무스타파 술레이만:그건 확실히 내 생각이다. 이것이 오용과 자율성의 주요 차이점입니다. 그리고 우리가 추적해야 할 몇 가지 기능이 있다고 생각합니다. 이러한 기능은 10년 이벤트가 더 빨리 다가올 가능성을 높이기 때문입니다. 예를 들어 모델이 기본적으로 자율적으로 작동할 수 있도록 설계된 경우 고유한 설계 요구 사항에 따라 자체 목표를 설계하고 임의의 도구를 사용하여 완전히 결정을 내리는 방법을 배우는 능력을 엔지니어링하고 있습니다. 인간의 감독과는 별개로. 그리고 이와 관련된 두 번째 기능은 분명히 재귀적 자기 개선입니다. 모델이 자체 코드를 업데이트하고, 스스로 재교육하고, 새로운 미세 조정 데이터 또는 모든 종류의 새로운 상호 작용 데이터의 결과로 새로운 가중치를 생성하도록 설계된 경우입니다. 시뮬레이션이든 실제 세계이든 그들의 환경입니다.

Suleyman은 OpenAI가 비밀리에 GPT-5를 훈련하고 있다고 생각한다.

Sam [Altman]이 최근 GPT-5를 훈련하지 않는다고 말한 것 같습니다. 어서 . 내 생각에는 우리 모두가 그것에 대해 솔직하게 말하는 것이 더 낫다고 생각합니다. 이것이 바로 우리가 보유하고 있는 총 컴퓨팅 양을 공개하는 이유입니다. [...] 저는 Google DeepMind도 같은 일을 해야 한다고 생각합니다. 그들은 얼마나 많은 FLOPS Gemini가 훈련되었는지 선언해야 합니다.

 

확대하려면 클릭하세요.

 

모델 오픈 소싱과 관련하여 Suleyman은 다음과 같이 말했다.

우리가 모든 새로운 세대의 프론티어 모델에 대한 모든 것을 계속 오픈 소스로 제공한다면 우리는 권력의 급속한 확산을 보게 될 가능성이 높습니다. 이는 소규모 행위자 그룹 또는 개인이 세계에 전례 없는 일대다 영향을 미칠 수 있도록 하는 국가와 같은 권한입니다.

 

소셜 미디어를 통해 누구나 방송 권한을 가질 수 있게 되었고, 본질적으로 1990년대에는 신문 전체로 기능할 수 있게 되었습니다. 2000년대에는 트위터나 인스타그램 등에서 수백만 명의 팔로어를 갖게 되었고 실제로 세계에 영향을 미치게 되었습니다. 이전에는 출판사의 전유물이었고 대부분의 경우 허가를 받고 규제를 받았던 방식은 실제로 심각한 일을 했다면 책임을 물을 수 있는 권위였습니다. 그리고 그 모든 것이 이제 어느 정도 사라졌습니다. 그런데 좋은 이유가 있고 어떤 경우에는 나쁜 결과가 있습니다.

 

우리는 세상에 영향을 미치는 능력에 대한 접근과 관련하여 동일한 궤적을 보게 될 것입니다. 인공 능력이 있는 AI를 중심으로 제가 제안한 현대 튜링 테스트(Modern Turing Test)와 관련이 있다고 생각할 수 있습니다. 즉, 말하는 내용에 기초하여 평가하는 기계(원래 튜링 테스트의 모방 테스트)에서 기계를 평가하는 기계와 같습니다. 그들이 할 수 있는 일을 바탕으로 . API를 사용할 수 있나요? 그들은 다른 사람들에게 얼마나 설득력이 있습니까? 다른 AI와 상호 작용하여 작업을 수행할 수 있나요?

 

따라서 모든 사람이 그 권력을 갖게 되면 그것은 개인이 조직이나 심지어 국가의 권력을 가진 것처럼 보이기 시작합니다. 저는 우리가 있는 곳보다 2~3배 또는 4배 정도 더 큰 모델에 대해 이야기하고 있습니다. 그리고 우리는 그것에서 멀지 않습니다. 우리는 향후 3년 동안 현재보다 1,000배 더 큰 훈련 모델이 될 것입니다. 변곡기에도 우리가 보유한 컴퓨팅 성능은 향후 18개월 동안 현재 프론티어 모델보다 100배 더 커질 것입니다.

 

비록 제가 오픈 소스 문제에 대해 많은 관심을 갖고 있기는 하지만 분명히 오늘날의 모델에 대해 이야기하고 있는 것이 아닙니다. 미래 세대에 대해 이야기하고 있는 것입니다. 그리고 저는 여전히 그것이 옳다고 생각하며 이를 지지합니다. 왜냐하면 우리가 그러한 대화를 하지 않는다면 결국 우리는 기본적으로 모든 사람의 손에 엄청나게 혼란스러운 불안정화 도구를 쥐게 되는 것이라고 생각하기 때문입니다. 

 

실제로 그렇게 하는 방법을 누군가는 빗물을 잡으려고 하는 것과 같다고 하거나, 손으로 빗물을 받아 비를 멈추게 하는 것과 같다고 했습니다. 내 생각엔 아주 좋은 반박이다. 그것은 절대적으로 정확합니다. 물론 이것은 엄청나게 어렵습니다. 나는 그것이 어렵지 않다고 말하는 것이 아닙니다. 나는 그것이 우리가 가져야 할 대화라고 말하고 있습니다.

그의 면접관인 Rob Wiblin은 다음과 같이 동의했다.

흥미로운. 응. 저는 사람들이 모든 것을 소스로 공개해야 한다고 말하는 선례가 있다는 점에 대해 우려하고 있습니다. 그렇다면 5년, 10년, 15년, 20년 후에 우리는 어떻게 될까요? 그들은 점점 더 강력해질 것입니다. 현재로서는 생물무기를 설계하는 데 별 도움이 되지 않습니다. 하지만 10년, 15년 후에는 정말 상당한 변화를 가져올 수 있을 것입니다. 그리고 네, 잘 모르겠어요. 저는 이제 기본적으로 이를 예상하여 오픈 소스에 일부 제한을 가하기 시작해야 한다고 생각합니다.

Suleyman은 AI 정렬에 대한 최종 논평으로 인터뷰를 마무리했다.

이것은 매우 중요한 문제입니다. 잘못된 정렬에 집중하는 인력이 10배 더 필요합니다. 일반적으로 나는 속임수 자체가 일종의 의인화라고 생각하기 때문에 속임수에 약간 민감하지만 그것은 기술적인 문제입니다. 일반적으로 나는 정렬 불량에 대한 근본적인 질문과 일반적으로 AGI 안전, 10년 위험, 20년 위험이 이보다 더 중요할 수 없다고 생각합니다.

팟캐스트는 인터뷰 전문과 함께 80000hours.org 에서 이용 가능합니다. 아니면 아래 영상을 시청할 수 있다.

 

AI 모델의 기하급수적인 성장에 대한 Mustafa Suleyman의 예측에 동의하는가? 빠르게 발전하는 AI 기술의 윤리적 영향에 대해 얼마나 우려하고 있으며, 이러한 위험을 완화하기 위해 어떤 조치를 취해야 한다고 생각하나? 오픈소스 AI 모델에 대해 어떻게 생각하시나? 아래 댓글로 알려주세요!

 

 

 

댓글 »