마인드봇[OpenAI의 비밀 로봇 계획. 물리적으로 시뮬레이션된 휴머노이드를 위한 통합 전신 제어] 휴머노이드 로봇 학습을 위한 합성 모션 생성 파이프라인 구축] 모바일 로봇은 인간 중심 환경에서 자연스럽게 탁월한 성능을 발휘하도록 설계되어 공장 현장에서 의료 시설에 이르기까지 점점 더 가치가 높아지고 있다.
OpenAI의 비밀 로봇 계획이 공개되었다.![]() 🚨 당사 보고서 — OpenAI는 2020년에 로봇 사업부를 폐쇄하고 인공일반지능(AGI) 구현에 집중하기로 했다. 이후 다시 사업을 시작했으며, 일련의 구인 공고를 통해 맞춤형 센서를 장착할 자체 로봇을 개발할 계획에 대한 세부 정보를 공개했다. 🔓 주요 포인트:
🔐 연관성 — 벤처 캐피털리스트들은 작년에 로봇 분야에 46억 달러 이상을 투자했다. 그 중에서도 인간형 로봇이 가장 큰 관심을 끌었고, X1과 Figure(둘 다 OpenAI의 재정 지원을 받음)와 같은 스타트업이 가장 큰 진전을 이루었다. 따라서 OpenAI가 이 프로젝트를 어떻게 진행할지 지켜보는 것은 흥미로울 것. 이 프로젝트는 전 Apple 디자이너인 조니 아이브스가 작년에 발표한 곧 출시될 하드웨어 기기와 디자인 단계에 있다는 소문이 돌고 있는 맞춤형 AI 칩과 함께 진행된다.
OpenAI는 로봇 부문을 구축하고 있다. ChatGPT 제작사는 "범용 로봇의 잠재력을 최대한 활용하고 역동적인 현실 세계 환경에서 AGI 수준의 지능을 구현하는 데 중점을 두고" 여러 새로운 로봇 직무를 채용한다고 발표했다. OpenAI는 로봇 분야에 생소하지 않으며, 인간형 로봇을 구축하고 있는 Figure AI를 포함하여 여러 로봇 스타트업에 투자한 바 있다.
OpenAI는 로봇 부서를 해체했다가 부활한 팀에 대한 계획에 대해 더 자세히 공개했다. 지난 11월 Meta의 AR 안경 사업부에서 OpenAI에 합류해 하드웨어를 담당하게 된 케이틀린 칼리노프스키는 금요일 X에 올린 게시물에서 OpenAI가 맞춤형 센서 제품군을 갖춘 자체 로봇을 개발할 것이라고 말했다. 칼리노프스키는 게시물에서 추가 정보와 함께 새로운 OpenAI 로봇공학 구인 공고를 소개했다. 목록에 따르면 OpenAI의 로봇 팀은 "동적", "실제 세계" 환경에서 인간과 같은 지능으로 작동할 수 있는 "범용", "적응형" 및 "다재다능한" 로봇에 집중할 것입니다. OpenAI는 회사가 내부적으로 개발한 AI 모델로 구동되는 로봇을 위한 새로운 센서와 계산 요소를 만들 계획입니다. "전체 모델 스택에서 작업하면서 최첨단 하드웨어와 소프트웨어를 통합하여 광범위한 로봇 폼 팩터를 탐색합니다." 목록 중 하나에 이렇게 적혀 있습니다 . "우리는 고급 AI 기능과 물리적 로봇 플랫폼의 물리적 제약을 완벽하게 조화시키기 위해 노력합니다." 목록 중 하나는 OpenAI가 로봇 프로토타입을 테스트하기 위해 계약직 근로자를 고용할 계획임을 암시합니다. 또 다른 목록은 회사의 로봇에 사지가 있을 수 있음을 암시합니다. 인포메이션은 최근 OpenAI가 자체적으로 휴머노이드 로봇을 개발하고 있다고 보도했습니다. 어떤 형태를 취하든 OpenAI의 로봇은 - 모든 것이 계획대로 진행된다면 - 언젠가는 "본격적인 생산"에 도달할 것이라고 한 설명 에 나와 있습니다 . OpenAI는 이 노력에 대해 강경한 입장을 보이고 있습니다. 다른 공고에서 이 회사는 "대량(100만+)을 위한 기계 시스템을 설계한 경험이 있는" 엔지니어를 찾고 있다고 말합니다.
로봇공학은 인기 있는 상품입니다. Crunchbase에 따르면 , 이 분야는 작년에 VC로부터 64억 달러 이상을 모금했으며, 이는 무한한 응용 분야를 가진 기술에 대한 관심을 보여줍니다. 공장 제조를 위한 소프트웨어와 시스템을 개발하는 Bright Machines 와 Collaborative Robotics 와 같은 회사는 성공적으로 틈새 시장을 찾은 듯합니다. AI 기반 제초 로봇을 만드는 Carbon Robotics 와 트레이와 패키지를 운반할 수 있는 모바일 로봇을 만드는 Bear Robotics 와 같은 회사도 마찬가지입니다 . 그러나 가장 많은 관심을 받은 것은 인간형 로봇이다. OpenAI의 지원을 받는 X1 과 Figure는 인간과 거의 비슷하게 움직이는 범용 로봇을 만들려고 시도하고 있습니다. 도전은 엄청나지만, 이 회사들은 기술이 대량 생산된 휴머노이드 로봇 시스템이 현실적인 단기 목표가 될 지점에 도달했다고 주장합니다. 최근 로봇공학 역사에서 많은 실망이 있었던 걸 보면 말하기는 쉽지만 이루기는 쉽지 않음을 알 수 있습니다. 로봇은 OpenAI가 적극적으로 작업하는 유일한 하드웨어 프로젝트가 아닙니다. 전설적인 전 Apple 제품 디자이너인 조니 아이브는 작년에 OpenAI와 새로운 기기에 대해 협업 중이라고 확인했으며 , OpenAI는 AI 모델을 실행하기 위한 맞춤형 칩을 설계 중이라고 합니다 .
penAI의 AI 규제 청사진![]() 🚨 당사 보고서 — OpenAI는 "경제 청사진"이라는 15페이지 분량의 생생한 백서를 발행했습니다. 이 백서에는 AI 개발에 대한 자사의 비전과 미국 정부와 동맹국이 AI 경쟁에서 중국보다 앞서기 위해 해야 할 일이 설명되어 있습니다. 🔓 주요 포인트:
🔐 관련성 — OpenAI는 작년에 로비 예산을 3배로 늘렸고(2023년 26만 달러에서 2024년 80만 달러로), 전직 정부 관리를 임원진에 영입했으며, 국방부와 미군과 파트너십을 맺었는데, 아마도 미국의 AI 정책에 영향을 미치려는 의도를 강조한 것 같습니다. 그리고 트럼프가 취임하기 불과 일주일 전에 "경제 청사진"이 발표되었는데, 이는 새로운 행정부(트럼프가 전 PayPal 임원인 데이비드 삭스를 AI 및 암호화폐 차르로 임명하면서 기술 발전을 우선시할 것으로 예상됨)의 호감을 사기 위한 전략적 움직임이었을까요?
물리적으로 시뮬레이션된 휴머노이드를 위한 통합 전신 제어
자연스럽게 움직이고 다양한 제어 입력에 지능적으로 반응하는 인터랙티브 시뮬레이션 휴머노이드를 만드는 것은 컴퓨터 애니메이션 및 로보틱스에서 가장 어려운 문제 중 하나이다. 엔비디아 아이작 심(Isaac Sim)과 같은 고성능 GPU 가속 시뮬레이터와 엔비디아 아이작 랩(Isaac Lab)을 활용한 로봇 정책 트레이닝은 인터랙티브 휴머노이드 트레이닝에서 상당한 진전을 이룰 수 있다. Adversarial Motion Priors와 Human2Humanoid는 시뮬레이션 로봇과 실제 로봇에 대한 중요한 도약을 제시하는 최근의 예이다. 그러나 그들은 또한 휴머노이드가 제어되는 방식을 변경하려면 새로운 전문 컨트롤러를 재훈련해야 한다는 공통된 함정을 공유한다. 이 게시물에서는 모션 인페인팅의 렌즈를 통해 전신 휴머노이드 제어를 통합하는 프레임워크인 MaskedMimic을 소개한다. 마스크미믹(MaskedMimic)은 일반화된 휴머노이드 로봇의 개발을 지원하기 위한 NVIDIA 프로젝트 GR00T의 일부이다. 이 연구 작업은 전신 제어를 위한 고급 모션 계획 및 제어 라이브러리, 모델, 정책 및 참조 워크플로우 제품군인 GR00T-Control에 기여한다. 동영상 1. MaskedMimic 모션 인페인터 소개 작업별 통제 극복휴머노이드 제어에 대한 전통적인 접근 방식은 본질적으로 작업 특정 특성에 의해 제한된다. 경로 추종에 특화된 컨트롤러는 머리와 손의 좌표 추적이 필요한 원격 조작 작업을 처리할 수 없다. 마찬가지로, 시연자의 전신 움직임을 추적하도록 훈련된 컨트롤러는 키포인트의 하위 집합을 추적해야 하는 시나리오에 적응할 수 없다. 이 전문화는 다음과 같은 중요한 문제를 야기한다.
모션 인페인팅은 통일된 솔루션을 제공한다.최근 제너레이티브 AI의 발전은 텍스트, 이미지, 심지어 애니메이션과 같은 여러 영역에서 인페인팅을 사용하여 놀라운 성공을 거두었다. 이러한 방법은 마스킹된(불완전한) 또는 부분 보기에서 전체 데이터를 재구성하는 학습을 통해 학습한다는 점에서 일반적이고 강력한 개념을 공유한다. MaskedMimic은 이 강력한 패러다임을 전신 휴머노이드 제어 작업에 적용한다. MaskedMimic은 다양한 유형의 부분 모션 설명을 허용한다.
MaskedMimic의 작동 방식MaskedMimic 훈련은 인간의 움직임, 텍스트 설명 및 장면 정보에 대한 대규모 데이터 세트를 활용하는 2단계 파이프라인에서 이루어진다. 이 데이터는 인간이 어떻게 움직이는지 보여주지만 시뮬레이션된 로봇이 이러한 움직임을 재현하는 데 필요한 모터 작동이 부족하다. 파이프라인의 첫 번째 단계에는 전신 동작 추적 작업에 대한 강화 학습 에이전트를 훈련시키는 것이 포함된다. 이 모델은 로봇의 고유 수용 감각, 주변 지형 및 가까운 장래에 어떤 동작을 수행해야 하는지 관찰한다. 그런 다음 시연된 모션을 재구성하는 데 필요한 모터 작동을 예측합니다. 이것은 주변 지형에 적응하는 역 모델로 볼 수 있다. 교육의 두 번째 단계는 온라인 교사-학생 증류 과정입니다. 첫 번째 단계의 모델은 전문가로 사용되며 더 이상 훈련되지 않는다. 훈련 중에 휴머노이드는 무작위 동작에서 무작위 프레임으로 초기화됩니다. 전문가가 손대지 않은 미래의 시연을 관찰하는 동안, 학생에게는 무작위로 가면을 쓴 버전이 제공된다. 마스크는 매우 조밀하여 학생 모델에 모든 정보(모든 프레임의 모든 관절, 텍스트 및 장면 정보)를 제공할 수 있다. 또한 매우 희박할 수도 있습니다(예: 텍스트만 표시되거나 몇 초 후의 머리 위치). 학생(MaskedMimic)의 목표는 모션 인페인팅이다. 부분적인(마스킹된) 모션 설명이 제공되면 MaskedMimic은 전문가의 동작을 성공적으로 예측하는 임무를 맡게 되며, 이는 다시 원래의 마스킹되지 않은 모션 데모를 재현한다. 모션 재구성제어 및 모션 생성을 인페인팅 문제로 보면 다양한 기능이 열립니다. 예를 들어, MaskedMimic은 시뮬레이션된 가상 세계 내에서 사용자의 시연을 재구성할 수 있다. 카메라에서 추론할 때 모션에는 모든 신체 키 포인트가 포함될 수 있다. 동영상 2. 전신 추적 반면에, 가상 현실 시스템은 종종 추적 센서의 하위 집합만 포함한다. Oculus 및 Apple Vision Pro와 같은 일반적인 시스템은 머리와 손 좌표를 모두 제공한다. 동영상 3. 불규칙한 지형에서 대상의 머리와 손 위치에서 재구성 동작 VR 트래킹을 위해 성공률과 트래킹 오차도 측정된다. 경험적 결과는 이 작업을 위해 특별히 최적화된 특수 컨트롤러와 비교할 때 큰 성능 향상을 보여준다. 작업별 교육이나 미세 조정이 필요 없는 통합 MaskedMimic 컨트롤러는 이전의 특수 방법보다 성능이 뛰어나다.
표 1. 보이지 않는 AMASS 테스트 세트에서 추출한 VR 신호(머리 및 손 위치) 추적 성공률 대화식 제어이 동일한 제어 체계를 재사용하여 사용자 입력에서 새로운 동작을 생성할 수 있다. 하나의 통일된 MaskedMimic 정책은 광범위한 작업을 해결할 수 있으며, 이는 이전 작업에서 여러 개의 서로 다른 전문 컨트롤러를 훈련시켜 해결했던 문제이다. 루트의 미래 위치와 방향을 지정함으로써 MaskedMimic은 조이스틱 컨트롤러로 조종된다. 동영상 4. MaskedMimic은 조이스틱 컨트롤러로 조종된다. 마찬가지로, 머리 위치와 높이를 모두 조절하여 MaskedMimic은 경로를 따라가도록 지시받는다. 동영상 5. MaskedMimic은 경로를 따라가라는 지시를 받는다. 또 다른 중요한 기능은 장면 상호 작용이다. 객체에 대한 MaskedMimic의 컨디셔닝은 "해당 객체와 자연스럽게 상호 작용"하도록 지시하는 것과 같다. 동영상 6. 컨디셔닝: 객체에 대한 MaskedMimic (Nvidia)
휴머노이드 로봇 학습을 위한 합성 모션 생성 파이프라인 구축
범용 휴머노이드 로봇은 기존의 인간 중심의 도시 및 산업 작업 공간에 빠르게 적응하여 지루하거나 반복적이거나 육체적으로 힘든 작업을 처리할 수 있도록 제작되었다. 이러한 모바일 로봇은 인간 중심 환경에서 자연스럽게 탁월한 성능을 발휘하도록 설계되어 공장 현장에서 의료 시설에 이르기까지 점점 더 가치가 높아지고 있다. 로봇 학습의 하위 집합인 모방 학습을 통해 휴머노이드는 전문가의 인간 시연을 관찰하고 모방하여 새로운 기술을 습득할 수 있다. 이러한 광범위한 고품질 데이터 세트를 실제 환경에서 수집하는 것은 지루하고 시간이 많이 걸리며 엄청나게 비싸다. 물리적으로 정확한 시뮬레이션 환경에서 생성된 합성 데이터는 수집 프로세스를 가속화할 수 있다. NVIDIA Isaac GR00T는 휴머노이드 로봇 개발자에게 로봇 파운데이션 모델, 데이터 파이프라인 및 시뮬레이션 프레임워크를 제공하여 이러한 문제를 해결하는 데 도움이 된다. NVIDIA Isaac GR00T Blueprint for Synthetic Motion Generation은 모방 학습을 위한 시뮬레이션 워크플로우로, 소수의 인간 시연에서 기하급수적으로 큰 데이터세트를 생성할 수 있다. 동영상 1. NVIDIA Isaac GR00T로 데이터 수집 간소화 이 게시물에서는 Apple Vision Pro에서 원격 조종 데이터를 캡처하고, NVIDIA Isaac GR00T를 사용하여 몇 가지 인간 시연만으로 대규모 합성 궤적 데이터 세트를 생성한 다음, Isaac Lab에서 로봇 모션 정책 모델을 훈련하는 방법을 설명한다. 합성 모션 생성워크플로의 주요 구성 요소는 다음과 같다.
![]() 합성 모션 생성 파이프라인은 로봇 훈련을 위한 크고 다양한 데이터 세트를 생성하도록 설계된 정교한 프로세스이다. Apple Vision Pro와 같은 고성능 기기를 사용하여 시뮬레이션 환경에서 인간의 움직임과 행동을 캡처하는 데이터 수집으로 시작된다. Apple Vision Pro는 핸드 트래킹 데이터를 아이작 랩(Isaac Lab)과 같은 시뮬레이션 플랫폼으로 스트리밍하며, 동시에 로봇 환경에 대한 몰입형 뷰를 기기로 다시 스트리밍한다. 이 설정을 통해 로봇의 직관적이고 상호 작용적인 제어가 가능하여 고품질 원격 작업 데이터를 쉽게 수집할 수 있다. ![]() Isaac Lab의 로봇 시뮬레이션은 Apple Vision Pro로 스트리밍되어 로봇의 주변 환경을 시각화할 수 있다. 손을 움직여 로봇을 직관적으로 제어하여 다양한 작업을 수행할 수 있습니다. 이 설정은 몰입형 대화형 원격 운영 경험을 용이하게 한다. GR00T-Mimic을 이용한 합성 궤적 생성데이터가 수집된 후 다음 단계는 합성 궤적 생성이다. Isaac GR00T-Mimic은 방대한 수의 합성 모션 궤적을 생성하기 위해 소규모 인간 시연 세트에서 외삽하는 데 사용된다. 이 프로세스에는 데모의 핵심 포인트에 주석을 달고 보간을 사용하여 합성 궤적이 매끄럽고 상황에 적합한지 확인하는 작업이 포함된다. 그런 다음 생성된 데이터를 평가하고 교육에 필요한 기준을 충족하도록 구체화한다. 이 예에서는 1K 합성 궤적을 성공적으로 생성했다.
Isaac Lab에서 모방 학습을 활용한 교육마지막으로 합성 데이터 세트는 모방 학습 기술을 사용하여 로봇을 훈련시키는 데 사용된다. 이 단계에서는 Robomimic 제품군의 반복 GMM(가우스 혼합 모델)과 같은 정책이 합성 데이터에서 보여진 동작을 모방하도록 훈련된다. 학습은 Isaac Lab과 같은 시뮬레이션 환경에서 수행되며, 학습된 정책의 성능은 여러 번의 시도를 통해 평가된다. 이 파이프라인은 로봇 시스템을 개발하고 배포하는 데 필요한 시간과 리소스를 크게 줄여 로봇 분야에서 유용한 도구가 된다. 이 데이터를 어떻게 사용할 수 있는지 보여주기 위해 Isaac Lab에서 그리퍼가 있는 Franka 로봇을 훈련시켜 적층 작업을 수행했다. 그리퍼는 휴머노이드 로봇에서 볼 수 있는 것과 비슷하다. 우리는 Robomimic 제품군의 반복적인 GMM 정책과 함께 Behavioral Cloning을 사용했다. 이 정책은 숨겨진 차원이 400인 두 개의 LSTM(Long Short-Term Memory) 계층을 사용한다. 네트워크에 대한 입력은 로봇의 엔드 이펙터 포즈, 그리퍼 상태, 상대 객체 포즈로 구성되며, 출력은 Isaac Lab 환경에서 로봇을 스텝으로 이동시키는 데 사용되는 델타 포즈 액션이다. 1K의 성공적인 시연과 2K 반복으로 구성된 데이터 세트를 통해 약 50회 반복/초의 훈련 속도를 달성했다(NVIDIA RTX 4090 GPU에서 약 0.5시간의 훈련 시간에 해당). 평균 50회 이상의 시행을 통해 학습된 정책은 스태킹 작업에 대해 84%의 성공률을 달성했다. ![]() 시작이번 포스팅에서는 NVIDIA Isaac GR00T를 통해 합성으로 생성된 궤적 데이터를 생성하여 휴머노이드 모션 정책 학습을 빠르게 진행하는 방법에 대해 알아보았다. (Nvidia)
<저작권자 ⓒ ainet 무단전재 및 재배포 금지>
|
많이 본 기사
유투브 많이 본 기사
최신기사
|