NeuRRAM이라는 에너지 효율적인 칩은 오래된 설계 결함을 수정하여 더 작은 장치에서 대규모 AI 알고리즘을 실행하여 낭비적인 디지털 컴퓨터와 동일한 정확도에 도달한다.
인공지능 알고리즘은 현재 속도로 계속 성장할 수 없다. 가중치라고 하는 숫자 값을 통해 서로 연결된 인공 뉴런의 여러 레이어가 있는 뇌에서 느슨하게 영감을 받은 심층 신경망과 같은 알고리즘은 매년 더 커지고 있다. 그러나 요즘 하드웨어 개선은 더 이상 이러한 대규모 알고리즘을 실행하는 데 필요한 엄청난 양의 메모리 및 처리용량을 따라가지 못하고 있다. 곧 AI 알고리즘의 크기가 벽에 부딪힐 수 있다.
그리고 AI의 요구 사항을 충족하기 위해 하드웨어를 계속 확장할 수 있다고 해도 또 다른 문제가 있다. 기존 컴퓨터에서 실행하면 엄청난 양의 에너지가 낭비된다는 것이다. 대규모 AI 알고리즘을 실행함으로써 발생하는 높은 탄소 배출량은 이미 환경에 해롭고 알고리즘이 점점 더 거대해짐에 따라 악화될 것이다.
뉴로모픽 컴퓨팅(Neuromorphic Computing)이라는 솔루션은 생물학적 두뇌에서 영감을 받아 에너지 효율적인 설계를 만든다. 불행히도 이러한 칩은 에너지 절약 면에서 디지털 컴퓨터를 능가할 수 있지만 상당한 규모의 심층 신경망을 실행하는 데 필요한 계산 능력이 부족했다. 그것은 AI연구자들이 간과하기 쉽게 만들었다.
그것은 마침내 8월에 바뀌었다. Weier Wan, H.-S. Philip Wong, Gert Cauwenberghs 및 그들의 동료들은 알고리즘을 실행하기 위해 하드웨어에 내장된 3백만 개의 메모리 셀과 수천 개의 뉴런을 포함하는 NeuRRAM이라는 새로운 뉴로모픽 칩을 공개했다. 저항성 RAM 또는 RRAM이라는 비교적 새로운 유형의 메모리를 사용한다.
이전 RRAM 칩과 달리 NeuRRAM은 더 많은 에너지와 공간을 절약하기 위해 아날로그 방식으로 작동하도록 프로그래밍되어 있다. 디지털 메모리는 1 또는 0을 저장하는 이진법이지만 NeuRRAM 칩의 아날로그 메모리 셀은 완전히 연속적인 범위를 따라 여러 값을 각각 저장할 수 있습니다. 이를 통해 칩은 동일한 양의 칩 공간에 대규모 AI 알고리즘의 더 많은 정보를 저장할 수 있다.
결과적으로 새로운 칩은 이미지 및 음성 인식과 같은 복잡한 AI 작업에서 디지털 컴퓨터와 같은 성능을 발휘할 수 있으며 저자는 최대 1,000배 더 에너지 효율적이며 작은 칩이 점점 더 복잡한 알고리즘을 실행할 수 있는 가능성을 열어준다고 주장한다. 스마트 워치나 휴대폰과 같이 이전에는 AI에 적합하지 않았던 소형장치 내에서 작동한다.
연구에 참여하지 않은 연구원들은 결과에 깊은 감명을 받았다. 홍콩 대학의 오랜 RRAM 연구원인 Zhongrui Wang은 "이 논문은 매우 독특하다. "디바이스 수준, 회로 아키텍처 수준, 알고리즘 수준 등 다양한 수준에서 기여합니다."
새로운 추억 만들기
디지털 컴퓨터에서 AI 알고리즘을 실행하는 동안 낭비되는 엄청난 양의 에너지는 모든 계산을 비효율적으로 만드는 단순하고 유비쿼터스한 설계 결함으로 인해 발생한다. 일반적으로 계산 중에 처리하는 데이터와 수치 값을 저장하는 컴퓨터의 메모리는 컴퓨팅이 이루어지는 프로세서에서 떨어진 마더보드에 있다.
최근 AI 스타트업 Aizip으로 이직한 Stanford University의 전 컴퓨터 과학자인 Wan은 프로세서를 통해 흐르는 정보에 대해 "통근에 8시간을 보내는 것과 비슷하지만 작업은 2시간 하는 것과 같습니다."라고 말했다.
소개
메모리와 계산을 같은 곳에 두는 새로운 올인원 칩으로 이 문제를 해결하는 것은 간단해 보인다. 또한 많은 신경과학자들은 계산이 뉴런 집단 내에서 일어나는 반면 기억은 뉴런 사이의 시냅스가 연결을 강화하거나 약화시킬 때 형성된다고 믿기 때문에 뇌가 정보를 처리하는 방식에 더 가깝다. 그러나 현재의 메모리 형태는 프로세서의 기술과 호환되지 않기 때문에 그러한 장치를 만드는 것은 어려운 일임이 입증되었다.
수십 년 전 컴퓨터 과학자들은 메모리가 저장된 곳에서 계산을 수행하는 새로운 칩을 만들기 위한 재료를 개발했다. 이 기술은 메모리 내 컴퓨팅으로 알려져 있다. 그러나 기존의 디지털 컴퓨터가 매우 잘 작동함에 따라 이러한 아이디어는 수십 년 동안 간과되었다.
"그 작업은 대부분의 과학적 작업과 마찬가지로 잊혀졌습니다."라고 스탠포드의 Wong 교수는 말했다.
실제로 최초의 그러한 장치는 적어도 1964년으로 거슬러 올라간다. 당시 스탠포드의 전기 엔지니어는 금속 산화물이라고 하는 특정 물질을 조작하여 전기를 전도하는 능력을 켜고 끌 수 있다는 것을 발견했다. 두 상태 사이를 전환하는 재료의 기능이 기존 메모리 저장의 중추를 제공하기 때문에 이는 중요하다. 일반적으로 디지털 메모리에서 고전압 상태는 1에 해당하고 저전압 상태는 0에 해당한다.
RRAM 장치가 상태를 전환하도록 하려면 금속 산화물의 두 끝에 연결된 금속 전극에 전압을 적용한다. 일반적으로 금속산화물은 절연체이므로 전기가 통하지 않는다. 그러나 전압이 충분하면 전류가 축적되어 결국 재료의 약한 부분을 밀어내고 반대편에 있는 전극으로 가는 경로를 만든다. 일단 전류가 끊어지면 해당 경로를 따라 자유롭게 흐를 수 있다.
Wong은 이 과정을 번개에 비유한다. 구름 내부에 충분한 전하가 축적되면 저항이 낮은 경로를 빠르게 찾아 번개가 친다. 그러나 경로가 사라지는 번개와 달리 금속 산화물을 통과하는 경로는 그대로 남아 있어 무한정 전도성을 유지한다. 그리고 재료에 다른 전압을 가하면 전도 경로를 지울 수 있다. 따라서 연구원들은 두 상태 사이에서 RRAM을 전환하고 디지털 메모리를 저장하는 데 사용할 수 있다.
세기 중반 연구원들은 에너지 효율적인 컴퓨팅의 잠재력을 인식하지 못했고 그들이 작업하고 있던 더 작은 알고리즘으로 아직 필요하지도 않았다. 새로운 금속 산화물이 발견된 2000년대 초반까지는 연구원들이 그 가능성을 깨닫기 시작했다.
당시 IBM에서 일하던 Wong은 수상 경력에 빛나는 RRAM 동료가 관련 물리학을 완전히 이해하지 못했다고 인정했다고 회상한다. Wong은 "그가 이해하지 못한다면 이해하려고 노력하지 말아야 할 것"이라고 생각했던 것을 기억한다.
그러나 2004년 삼성전자의 연구원들은 전통적인 컴퓨팅 칩 위에 구축된 RRAM 메모리를 성공적으로 통합했다고 발표하여 마침내 메모리 내 컴퓨팅 칩이 가능할 수 있음을 시사했습니다. Wong은 적어도 시도하기로 결심했다.
AI용 메모리 내 컴퓨팅 칩
10년 이상 동안 Wong과 같은 연구원들은 고성능 컴퓨팅 작업을 안정적으로 처리할 수 있는 수준까지 RRAM 기술을 구축하기 위해 노력했다. 2015년경 컴퓨터 과학자들은 이륙하기 시작한 대규모 AI 알고리즘을 위한 이러한 에너지 효율적인 장치의 막대한 잠재력을 인식하기 시작했다. 그 해에 산타 바바라에 있는 캘리포니아 대학의 과학자들은 RRAM 장치가 새로운 방식으로 메모리를 저장하는 것 이상을 할 수 있음을 보여주었다. 간단한 행렬 곱셈 작업인 신경망의 인공 뉴런 내에서 발생하는 대부분의 계산을 포함하여 기본 컴퓨팅 작업을 자체적으로 실행할 수 있다.
NeuRRAM 칩에서 실리콘 뉴런은 하드웨어에 내장되어 있으며 RRAM 메모리 셀은 가중치(뉴런 간의 연결 강도를 나타내는 값)를 저장한다. 그리고 NeuRRAM 메모리 셀은 아날로그이기 때문에 저장하는 가중치는 장치가 저저항 상태에서 고저항 상태로 전환하는 동안 발생하는 전체 범위의 저항 상태를 나타낸다. 이것은 칩이 디지털 처리 버전에서와 같이 순차적으로 잠금 단계가 아닌 병렬로 많은 매트릭스 계산을 실행할 수 있기 때문에 디지털 RRAM 메모리가 달성할 수 있는 것보다 훨씬 더 높은 에너지 효율성을 가능하게 한다.
그러나 아날로그 처리는 여전히 디지털 처리보다 수십 년 뒤쳐져 있기 때문에 해결해야 할 문제가 여전히 많다. 하나는 아날로그 RRAM 칩이 비정상적으로 정밀해야 한다는 점이다. 물리적 칩의 결함으로 인해 가변성과 노이즈가 발생할 수 있기 때문이다. (두 가지 상태만 있는 기존 칩의 경우 이러한 결함은 그다지 중요하지 않습니다.) 이로 인해 아날로그 RRAM 장치가 AI 알고리즘을 실행하는 것이 훨씬 더 어려워진다. RRAM 장치의 전도성 상태는 매번 정확히 동일하지 않다.
"조명 경로를 볼 때마다 매번 다르다."라고 Wong은 말했다. "그래서 그 결과 RRAM은 어느 정도의 확률을 나타냅니다. 프로그래밍할 때마다 조금씩 다르다." Wong과 그의 동료들은 RRAM 장치가 지속적인 AI 가중치를 저장할 수 있고 알고리즘이 칩에서 발생하는 노이즈에 익숙해지도록 훈련된 경우 여전히 디지털 컴퓨터만큼 정확하다는 것을 증명했다.
그들이 해결해야 했던 또 다른 주요 문제는 다양한 신경망을 지원하는 데 필요한 유연성과 관련이 있었다. 과거에는 칩 설계자들이 더 큰 실리콘 뉴런 옆의 한 영역에 작은 RRAM 장치를 정렬해야 했다. RRAM 장치와 뉴런은 프로그래밍 기능 없이 유선으로 연결되어 있어 계산이 한 방향으로만 수행될 수 있었다. 양방향 계산으로 신경망을 지원하려면 추가 전선과 회로가 필요하여 에너지와 공간 요구 사항이 부풀려졌다.
So Wong의 팀은 RRAM 메모리 장치와 실리콘 뉴런이 함께 혼합된 새로운 칩 아키텍처를 설계했다. 디자인에 대한 이러한 작은 변화는 전체 면적을 줄이고 에너지를 절약했다.
취리히 스위스연방공과대학의 뉴로모픽 연구원인 Melika Payvand는 "[배열이] 정말 아름답다고 생각했습니다."라고 말했다. "확실히 획기적인 작품이라고 생각한다."
몇 년 동안 Wong의 팀은 공동 작업자와 협력하여 NeuRRAM 칩에서 AI 알고리즘을 설계, 제조, 테스트, 보정 및 실행했다. 그들은 컴퓨팅 인 메모리 칩에도 사용할 수 있는 다른 새로운 유형의 메모리를 사용하는 것을 고려했지만 RRAM은 아날로그 프로그래밍의 장점과 기존 컴퓨팅 재료와 비교적 쉽게 통합할 수 있기 때문에 우위를 점했다.
그들의 최근 결과는 이전에는 이론적 시뮬레이션에서만 가능했던 위업인 크고 복잡한 AI 알고리즘을 실행할 수 있는 최초의 RRAM 칩을 나타낸다. Drexel University의 컴퓨터 과학자인 Anup Das는 "실제 실리콘에 관해서는 그 기능이 없었다."라고 말했다. “이 작품은 첫 시연이다.”
Cauwenberghs는 “디지털 AI 시스템은 유연하고 정확하지만 훨씬 덜 효율적이다. 이제 Cauwenberghs는 유연하고 정밀하며 에너지 효율적인 아날로그 RRAM 칩이 "처음으로 격차를 해소"했다고 말했다.
확장
이 팀의 설계는 NeuRRAM 칩을 손톱만한 작은 크기로 유지하면서 아날로그 프로세서 역할을 할 수 있는 300만 개의 RRAM 메모리장치를 압착한다. 그리고 적어도 디지털 컴퓨터만큼 신경망을 실행할 수 있지만 칩은 또한 (그리고 처음으로) 다른 방향으로 계산을 수행하는 알고리즘을 실행할 수 있다. 그들의 칩은 RRAM 어레이의 행에 전압을 입력하고 RRAM 칩의 표준과 같이 열에서 출력을 읽을 수 있지만 열에서 행으로 역방향으로 수행할 수도 있으므로 작동하는 신경망에서 사용할 수 있다. 데이터가 서로 다른 방향으로 흐른다.
RRAM 기술 자체와 마찬가지로 이것은 오랫동안 가능했지만 아무도 그렇게 생각하지 않았다. "왜 전에 이것에 대해 생각하지 않았습니까?" 페이반드가 물었다. "돌이켜보면 잘 모르겠습니다."
"이것은 실제로 많은 다른 기회를 열어줍니다."라고 Das는 말했다. 예를 들어, 그는 다차원 물리 시뮬레이션이나 자율 주행 자동차에 필요한 방대한 알고리즘을 실행하는 간단한 시스템의 능력을 언급했다.
다만 크기가 문제다. 가장 큰 신경망은 이제 새로운 칩에 포함된 수백만 개가 아닌 수십억 개의 가중치를 포함한다. Wong은 여러 개의 NeuRRAM 칩을 서로 쌓아서 확장할 계획이다.
미래 장치에서 에너지 비용을 낮게 유지하거나 훨씬 더 축소하는 것도 마찬가지로 중요할 것이다. 거기에 도달하는 한 가지 방법은 실제 뉴런 사이에 사용되는 통신 신호인 전기 스파이크를 채택하기 위해 뇌를 훨씬 더 가깝게 복사하는 것이다. 세포 내부와 외부 사이의 전압 차이가 임계 임계값에 도달할 때 한 뉴런에서 다른 뉴런으로 발사되는 신호이다.
유니버시티 칼리지 런던(University College London)의 나노기술 연구원인 토니 케니언(Tony Kenyon)은 "거기에 큰 도전이 있다"고 말했다. "그러나 우리는 여전히 그 방향으로 움직이기를 원할 것이다. 왜냐하면 … 매우 희박한 스파이크를 사용하는 경우 에너지 효율이 더 높아질 가능성이 있기 때문이다." 그러나 현재 NeuRRAM 칩에서 급증하는 알고리즘을 실행하려면 완전히 다른 아키텍처가 필요할 것이라고 Kenyon은 지적했다.
현재 팀이 NeuRRAM 칩에서 대규모 AI 알고리즘을 실행하면서 달성한 에너지 효율성은 메모리 기술이 AI 컴퓨팅의 미래를 대표할 수 있다는 새로운 희망을 불러일으켰다. 언젠가 우리는 인간 두뇌의 860억 개의 뉴런과 이들을 연결하는 수조 개의 시냅스를 전력 소모 없이 일치시킬 수 있을 것이다.
