NVIDIA Isaac Lab을 사용한 시뮬레이션의 빠른 로봇 학습

로봇은 새로운 기술을 쉽게 배우고 주변 환경에 적응할 수 있어야 합니다. 그러나 기존의 훈련 방법은 학습한 기술을 새로운 상황에서 적용하는 로봇의 능력을 제한할 수 있다. 이는 종종 인식과 행동 사이의 격차뿐만 아니라 서로 다른 맥락에서 기술을 이전하는 데 따르는 어려움 때문이다.

NVIDIA Isaac Lab은 이러한 한계를 해결하는 로봇 학습을 위한 오픈 소스 모듈식 프레임워크이다. 다양한 교육 환경을 위한 Isaac Lab의 모듈식 고화질 시뮬레이션은 물리적 AI 기능과 GPU 기반 물리 시뮬레이션을 제공한다.

Isaac Lab은 모방 학습(인간 모방)과 강화 학습(시행착오를 통한 학습)을 모두 지원하여 모든 로봇 구현에 대한 교육 접근 방식의 유연성을 제공한다. 로봇 제조업체가 변화하는 비즈니스 요구 사항에 따라 로봇 기술을 추가하거나 업데이트하는 데 도움이 되는 교육 시나리오를 위한 사용자 친화적인 환경을 제공한다.

많은 업계 협력자들이 Isaac Lab을 사용하여 휴머노이드 로봇을 효율적으로 훈련시키고 있다. 여기에는 인간과 같은 자유도를 가진 GR1 휴머노이드 로봇인 푸리에 인텔리전스(Fourier Intelligence)와 가정에서 창고까지 애플리케이션을 위해 제작된 멘티 로보틱스(MenteeBot)가 포함된다.

(NVIDIA Isaac Lab을 사용하여 훈련된 푸리에 인텔리전스 휴머노이드 로봇)

ORBIT-Surgical은 Isaac Lab을 기반으로 하는 시뮬레이션 프레임워크로, dVRK(da Vinci Research Kit)와 같은 로봇을 훈련시켜 외과의를 지원하고 정신적 작업량을 줄여준다. 이 프레임워크는 NVIDIA RTX GPU에서 실행되는 강화 학습과 모방 학습을 사용하여 로봇이 단단한 물체와 부드러운 물체를 모두 조작할 수 있도록 한다. 또한 NVIDIA Omniverse는 실제 병원 수술실 비디오에서 수술 도구를 분할하기 위해 AI 모델을 훈련하는 데 사용할 수 있는 충실도가 높은 합성 데이터를 생성하는 데 도움이 된다.

보스턴 다이내믹스(Boston Dynamics)는 아이작 랩(Isaac Lab)과 엔비디아 젯슨 AGX 오린(NVIDIA Jetson AGX Orin)을 사용해 시뮬레이션된 정책을 추론을 위해 직접 배포함으로써 배포 프로세스를 간소화하고 있다. 

이 게시물은 NVIDIA Isaac Lab의 주요 기능에 대한 개요와 NVIDIA 휴머노이드 로봇 개발자 프로그램의 Isaac Lab 에코시스템 협업자에 대한 미리보기를 제공한다. 또한 NVIDIA OSMO 플랫폼을 사용하여 로봇 워크플로우를 확장하는 방법도 설명한다.

가속화된 로봇 학습을 위한 Isaac Lab 기능

Isaac Lab에서 사용할 수 있는 주요 기능으로는 원활하고 효과적인 로봇 정책 훈련을 위한 강화 및 모방 학습, PhysX에서 제공하는 빠르고 정확한 물리 시뮬레이션, 벡터화된 렌더링을 위한 타일 렌더링 API, 견고성과 적응성 향상을 위한 도메인 무작위화, 클라우드 실행 지원 등이 있다.

하나의 도구에 통합된 여러 로봇 교육 기법: Isaac Lab은 강화학습(reinforcement learning)과 모방학습(imitation learning)을 통해 로봇학습을 가능하게 하는 시뮬레이션 애플리케이션이다.

(NVIDIA Isaac Lab은 단일 환경에서 여러 훈련된 정책으로 여러 구현을 지원한다.)

강화 학습(RL): 로봇은 시행착오를 통해 학습하기 때문에 새로운 상황에 더 잘 적응할 수 있고 일부 작업에서는 인간의 성능을 능가할 수 있다. 그러나 RL은 속도가 느릴 수 있으며 로봇의 학습을 안내하기 위해 신중하게 설계된 보상 함수가 필요한다. Isaac Lab은 환경 데이터를 함수 인수 및 반환 형식으로 변환하는 다른 라이브러리에 대한 래퍼를 통해 RL을 지원한다.

Isaac Lab 1.2에서는 강화 학습을 위한 LLM-to-Reward Function 참조 예제를 출시했다.

(NVIDIA Isaac Lab 강화 학습 프레임워크를 사용하여 훈련된 MenteeBot)

(그림자 로봇을 사용한 시뮬레이션에서 강화 학습 다중 에이전트 훈련)

모방 학습: 로봇은 인간의 시연을 모방하여 학습합니다. 이 방법은 특정 움직임이나 동작이 있는 작업에 이상적이며, 더 적은 데이터가 필요하고 인간의 전문 지식을 활용한다. 모방 학습에 대한 지원은 학습 프레임워크 Robomimic을 통해 제공되며 HDF5에 데이터를 저장할 수 있다.

작업 설계 워크플로우를 통한 유연성: 로봇 교육 환경을 관리자 기반 또는 직접 두 가지 방법으로 구축한다. 관리자 기반 워크플로우를 사용하면 환경의 다른 부분을 쉽게 전환할 수 있다. 복잡한 logic에 대한 성능을 최적화하려면 직접 워크플로를 사용하는 것이 좋다.

바둑판식 렌더링(RGB, 깊이 및 의미론): Isaac Lab은 현재 로봇 학습을 위한 충실도 높은 렌더링을 제공하는 유일한 산업 도구로, 시뮬레이션과 실제 간의 격차를 줄이는 데 도움이 된다. 바둑판식 렌더링은 여러 카메라의 입력을 하나의 큰 이미지로 통합하여 렌더링 시간을 줄여준다. 비전 데이터를 처리하기 위한 간소화된 API를 제공하며, 렌더링된 출력은 시뮬레이션 학습을 위한 관찰 데이터로 직접 사용된다.

(타일 RTX 렌더링)

다중 GPU 및 다중 노드 지원: 복잡한 강화 학습 환경의 경우 여러 GPU에 걸쳐 훈련을 확장하는 것이 바람직할 수 있다. 이것은 PyTorch 분산 프레임워크를 사용하여 Isaac Lab에서 가능하다.

(PyTorch 분산 프레임워크를 통해 Isaac Lab에서 여러 GPU 확장)

벡터화된 API: 향상된 View API를 활용하여 사용성을 개선하고, 버퍼를 미리 초기화할 필요가 없으며, 장면의 여러 개체에 대한 인덱스를 캐싱할 수 있을 뿐만 아니라 장면의 여러 보기 개체를 지원한다.

퍼블릭 클라우드에 쉽게 배포: 컨테이너에서 효율적인 RL 작업 실행을 위한 Docker 통합을 통해 AWS, GCP, Azure 및 Alibaba Cloud에 배포를 지원하고 OSMO를 사용하여 다중 GPU 및 다중 노드 작업을 원활하게 확장할 수 있다.

정확한 물리 시뮬레이션: 디포머블 지원을 포함한 Isaac Lab의 최신 GPU 가속 PhysX 버전을 활용하여 도메인 무작위화로 강화된 빠르고 정확한 물리 시뮬레이션을 보장한다.

(시뮬레이션 예제의 변형 가능한 물체) (Nvidia)