2023년 11월 14일

NVIDIA, H200 Tensor Core GPU 발표

 

세계에서 가장 가치 있는 칩 제조업체가 2024년 중반 출시 예정인 AI 및 고성능 컴퓨팅 워크로드를 위한 차세대 프로세서를 발표했다. 대규모 AI 모델을 위해 특별히 설계된 새로운 엑사스케일 슈퍼컴퓨터도 계획되어 있다.

 

H200 텐서 코어 GPU. 크레딧: NVIDIA

 

최근 몇 년 동안 캘리포니아에 본사를 둔 NVIDIA Corporation은 인공지능(AI)은 물론 고성능컴퓨팅(HPC)의 발전에 중요한 역할을 해왔다. 하드웨어는 알고리즘 기능의 놀라운 도약의 중심이 된다.

 

2020년 5월, 회사는 그래픽 처리 장치(GPU)의 새로운 표준을 세운 A100을 출시했다. GPU는 비디오제작이나 게임과 같이 컴퓨팅 수요가 많은 애플리케이션에 일반적으로 사용되는 장치이지만 대규모 병렬 계산을 통해 AI 워크로드에도 이상적이다. 

 

"암페어" 아키텍처를 기반으로 구축된 A100은 7나노미터(nm) 프로세스를 기반으로 하는 540억 개의 트랜지스터를 특징으로 한다.

 

A100의 후속 제품인 H100이 2022년 9월에 출시되었다. 이 제품은 새로운 "호퍼" 아키텍처를 갖추고 5나노미터(nm) 프로세스를 사용했으며, 800억 개의 더 많은 트랜지스터 수, 6배 더 빠른 속도, 2배의 메모리 및 A100보다 에너지 효율이 3.5배 더 높다. H100 NVL 로 알려진 훨씬 더 유능한 변형이 2023년 3월에 출시되었다.

 

 

이제 NVIDA는 현재까지 가장 강력한 GPU인 H200을 발표했다. 이는 초당 4.8테라바이트(TB/s)의 141GB 고속 메모리를 갖춘 최첨단 모듈인 HBM3e를 사용하는 최초의 GPU가 될 것이다. 이는 작년 H100보다 거의 두 배의 용량과 40% 더 많은 대역폭을 제공한다.

 

LLM(대형 언어 모델) 추론 성능 측면에서 H200은 상당한 속도 향상을 제공할 수 있다. 예를 들어 모델 크기가 1,750억 매개변수인 GPT-3은 1.6배 더 빠르게 실행되는 반면, Meta의 700억 매개변수 버전인 Llama2는 거의 두 배 빠르게 실행된다.

 

 

 

H200은 또한 이전 제품보다 환경 친화적이며 에너지 요구 사항이 50% 더 낮다. 

 

GPU의 폭발적인 성장과 그에 따른 전력 수요의 증가를 고려할 때 이는 이제 매우 중요한 고려사항이다. 

 

최근 연구에 따르면 현재 추세대로라면 데이터센터에 사용되는 AI는 2027년 까지 네덜란드나 스웨덴만큼 큰 국가만큼의 전력을 소비할 것으로 예상된다.

 

H200은 NVIDIA HGX H200 서버 보드에서 사용할 수 있으며 4방향 및 8방향 구성 옵션이 모두 제공된다. 이러한 모듈이 8방향 GPU 시스템으로 결합되면 H200은 FP8 정밀도(더 빠른 계산을 발생시키는 더 작은 데이터 청크 ) 에서 32페타플롭스의 딥 러닝 컴퓨팅 과 1.1TB 이상의 총 고대역폭 메모리를 제공한다.

 

NVIDIA의 하이퍼스케일 및 HPC 부문 부사장인 Ian Buck은 "생성 AI 및 HPC 애플리케이션으로 인텔리전스를 생성하려면 크고 빠른 GPU 메모리를 사용하여 방대한 양의 데이터를 고속으로 효율적으로 처리해야 합니다."라고 말했다. 

 

"NVIDIA H200을 통해 업계 최고의 엔드투엔드 AI 슈퍼컴퓨팅 플랫폼이 세계에서 가장 중요한 과제 중 일부를 더욱 빠르게 해결할 수 있게 되었습니다."

 

H200 기반 시스템은 2024년 2분기에 출시될 예정. Amazon Web Services, Google Cloud, Microsoft Azure 및 Oracle Cloud Infrastructure는 해당 기능을 배포하는 최초의 클라우드 서비스 제공업체 중 하나가 된다.

 

인상적이기는 하지만, H200은 2024년 후반에 출시될 것으로 예상되는 것에 대한 단순한 맛보기일 뿐이다.

 

B100으로 알려진 훨씬 더 강력한 GPU도 개발 중이다. 새로운 "Blackwell" 아키텍처를 최초로 사용한 이 시스템의 세부 사항은 앞으로 몇 달 안에 공개될 예정이다. 

 

대만반도체제조회사(TSMC)의 3nm 공정을 사용해 스케일링을 개선하는 멀티칩 모듈(MCM) 장치가 될 것이라는 소문이 돌았다.

 

 

NVIDIA는 H200 프로세서 외에도 JUPITER라는 새로운 슈퍼컴퓨터에 대한 계획을 발표했다. 이는 독일 서부의 Forschungszentrum Jülich 시설에 보관될 예정이며 ParTec, Eviden 및 SiPearl 등 여러 유럽 회사와 협력하여 건설되고 있다. 

 

이는 24,000개의 GH200 슈퍼칩 으로 구성되어 HPC 애플리케이션을 위한 총 1exaFLOP와 AI 교육을 위한 대규모 93exaFLOP를 제공한다. 

 

이는 Jülich의 이전 시스템보다 45배 더 많은 것. NVIDIA는 올해 초 COMPUTEX 컨퍼런스에서 대규모 AI 모델을 위해 특별히 설계된 GH200 칩을 공개했다.

 

NVIDIA의 성명에 따르면 JUPITER 시스템은 18.2메가와트의 전력만 소비하면서 "기후 및 기상 연구, 재료 과학, 신약 발견, 산업 공학 및 양자 컴퓨팅 분야의 기본 AI 모델 생성을 가속화"할 것이다(이러한 슈퍼컴퓨터의 경우 상대적으로 낮은 전력). 

 

Buck은 "NVIDIA GH200으로 구동되고 고급 AI 소프트웨어를 사용하는 JUPITER 슈퍼컴퓨터는 엑사급 AI 및 HPC 성능을 제공하여 우리 시대의 가장 큰 과학적 과제를 해결할 것입니다."라고 말했다. "이 획기적인 시스템에 대한 Jülich, Eviden 및 ParTec과의 협력은 과학과 기술의 한계를 발전시키기 위한 AI 슈퍼컴퓨팅의 새로운 시대를 열 것입니다."

 

Jülich에 JUPITER 설치는 2024년으로 예상된다. 이 시스템은 NVIDIA의 Hopper 아키텍처를 사용하는 여러 시스템 중 하나이다. 

 

아래와 같이 엔비디아 GPU 기반 AI 컴퓨팅 누적 총량은 변곡점에 도달해 내년 말까지 350엑사플롭(exaFLOP) 이상을 넘어설 가능성이 높다. 다르게 말하면 초당 350,000,000,000,000,000,000번의 계산이 가능하다.