현재 AI 모델은 훈련 중에 막대한 양의 에너지를 소비한다. 정확한 수치는 파악하기 어렵지만 Statista의 추정에 따르면 GPT-3의 훈련에는 약 1000MWh가 필요하며 이는 독일 200가구의 연간 소비량에 해당한다. 이러한 에너지 집약적 훈련을 통해 GPT-3가 단어 순서를 예측하도록 미세 조정되었지만 그러한 문구의 고유한 의미를 파악하지 못했다는 데 합의가 이루어졌다.

뉴로모픽 컴퓨팅: 뇌와 기계의 결합

기존 AI 시스템은 디지털 인공 신경망에 의존하지만 미래는 뉴로모픽 컴퓨팅에 있을 수 있다. 막스 플랑크 연구소 소장이자 에를랑겐 대학교 교수인 플로리안 마쿼트(Florian Marquardt)는 전통적인 AI 설정의 단점을 설명했다.

마쿼트는 “프로세서와 메모리 간의 데이터 전송만으로도 상당한 양의 에너지를 소비한다.”라고 강조하면서 방대한 신경망을 훈련할 때의 비효율성을 지적했다.

뉴로모픽 컴퓨팅은 인간의 두뇌에서 영감을 얻어 데이터를 순차적이 아닌 병렬로 처리한다. 기본적으로 뇌의 시냅스는 프로세서와 메모리의 역할을 모두 수행한다. 계산을 위해 빛을 활용하는 광자 회로와 같이 이러한 특성을 모방하는 시스템이 현재 연구 중이다.

자가 학습 물리적 기계로 AI 교육

마쿼트는 박사 과정 학생인 빅토르 로페스-파스토르(Víctor López-Pastor)와 함께 뉴로모픽 컴퓨터를 위한 혁신적인 교육 방법을 도입했다. 이들의 "자가 학습 물리적 기계"는 본질적인 물리적 프로세스를 통해 매개변수를 근본적으로 최적화하여 외부 피드백을 중복시킨다. 마쿼트는 "이 피드백을 요구하지 않으면 훈련이 훨씬 더 효율적이게 된다"고 강조하며 이 방법이 에너지와 컴퓨팅 시간을 모두 절약할 것이라고 제안했다.

그러나 이 획기적인 기술에는 특정한 요구 사항이 있다. 프로세스는 가역적이어야 하며 에너지 손실을 최소화하고 충분히 복잡하거나 비선형적이어야 한다. 마쿼트는 "비선형 프로세스만이 입력 데이터와 결과 간의 복잡한 변환을 실행할 수 있다"라고 말하면서 선형 동작과 비선형 동작을 구분했다.

실질적인 구현을 향해

듀오의 이론적 기반은 실제 적용과 일치한다. 그들은 실험팀과 협력하여 중첩된 광파를 사용하여 정보를 처리하는 광학 뉴로모픽 컴퓨터를 발전시키고 있다. 그들의 목표는 분명하다: 자가 학습 물리적 기계 개념을 실현하는 것이다.

마쿼트는 "3년 안에 최초의 자가 학습 물리적 기계를 선보이기를 희망한다"라고 말하면서 이러한 미래의 네트워크는 현재 시스템보다 더 많은 데이터를 처리하고 더 큰 데이터 세트로 훈련될 것임을 나타낸다. AI에 대한 수요가 증가하고 현재 설정의 본질적인 비효율성을 고려할 때 효율적으로 훈련된 뉴로모픽 컴퓨터로의 전환은 불가피하고 유망해 보인다.

마쿼드의 말에 따르면, "우리는 자가 학습 물리적 기계가 인공지능의 지속적인 진화에서 확고한 기회를 잡을 수 있다고 확신한다." 과학계와 AI 열성 팬 모두 숨죽여 미래가 어떻게 될지 기다리고 있다.