획기적인 개발을 통해 과학자들은 지금까지 만들어진 것 중 가장 거대한 컴퓨터 칩인 웨이퍼 스케일 엔진 3(WSE-3)을 공개했으며, 놀라운 4조 개의 트랜지스터를 자랑한다. 제작자에 따르면 이 기술적 경이로움은 전례 없는 인공 지능(AI) 패권 시대를 촉진할 운명이라고 한다.

WSE-3은 OpenAI의 GPT-4 및 Anthropic의 Claude 3 Opus와 같은 AI 시스템을 미지의 성능 영역으로 추진하기 위해 특별히 맞춤화된 Cerebras 슈퍼컴퓨팅 플랫폼의 세 번째 버전이다.

크기가 8.5 x 8.5인치(21.5 x 21.5cm)로 이전 제품인 WSE-2와 유사한 이 거대 실리콘에는 무려 900,000개의 AI 코어가 통합되어 있다. 회사 발표에 따르면 WSE-3는 이전 제품과 동일한 전력을 소비함에도 불구하고 처리 능력을 두 배로 늘린다. 이 위업은 약 2년마다 트랜지스터 수가 두 배로 증가한다는 무어의 법칙을 놀랍게 준수하고 있음을 보여준다.

이에 비해 AI 트레이닝 칩 부문의 선두주자인 Nvidia의 H200 그래픽 처리 장치(GPU)는 불과 800억 개의 트랜지스터에 비하면 아무것도 아니다. 이는 Cerebras의 창작물과 무려 57배의 차이이다.

WSE-3 칩의 운명은 3월 13일 발표된 회사 성명에 따르면 텍사스 주 달라스에 상주할 예정인 Condor Galaxy 3 슈퍼컴퓨터에 전력을 공급하는 데 있다. 64개의 Cerebras CS-3 AI 시스템 "빌딩 블록"으로 구성되며 모두 WSE-3 칩인 이 거대한 기계는 완전히 작동할 때 엄청난 8엑사플롭의 컴퓨팅 성능을 발휘할 것으로 예상된다.

기존 Condor Galaxy 1 및 Condor Galaxy 2 시스템과 더욱 통합된 이 네트워크는 천문학적인 16exaFLOP를 달성한다. 맥락을 보면, 현재 세계에서 가장 강력한 성능을 자랑하는 오크리지 국립연구소(Oak Ridge National Laboratory)의 프론티어(Frontier) 슈퍼컴퓨터는 비교적 적당한 1exaFLOP를 기록한다.

회사 내부자에 따르면 Condor Galaxy 3 슈퍼컴퓨터의 주요 임무는 GPT-4나 Google의 Gemini를 능가하는 비교할 수 없는 규모의 AI 시스템을 훈련시키는 것. 소문에 따르면 GPT-4는 훈련을 위한 약 1조 7600억 개의 매개변수를 자랑하는 반면, Condor Galaxy 3는 무려 24조 개의 매개변수로 AI 시스템을 처리할 태세를 갖추고 있다.

요약하면, WSE-3의 공개는 컴퓨팅의 새로운 시대를 예고하며 AI 기능의 경계를 전례 없는 수준으로 끌어올리고 기술 혁신의 최전선에서 Cerebras의 위치를 ​​확고히 할 것을 약속한다. 작성자: Impact Lab