거의 6개월 전, Figure는 빛나는 은색 휴머노이드 로봇이 BMW 제조 공장에서 첫 직장을 얻었다고 발표했다. 이 로봇은 이 행사를 위해 훈련을 받았고, 새로운 영상은 이 범용 작업자가 얼마나 멀리 왔는지 보여준다.

현재 개발 중인 AI 기반 휴머노이드 로봇은 하드웨어와 학습 방법이 모두 다양하고 엄청 많지만, 모두 같은 목표에 집중하고 있다. 즉, 인간이 할 수 있는 모든 물리적 작업을 대신 수행하고, 그 작업을 더 저렴하고 일관되게 수행하는 것.

그들이 하는 일을 더 많이 배울수록, 이 회사들은 더 많은 로봇을 판매할 수 있고, 잠재적으로 경제 성장을 인구 수치에서 분리하고 자원에 의해서만 제한되는 노동의 원천을 열어낼 수 있다. 허황된 꿈처럼 들리지만, 하드웨어는 놀라울 정도로 유능해 보이고, 이 로봇을 훈련하고 제어하는 ​​AI 모델은 확실히 아직 유아 단계의 개발 단계에 있지만, 확실히 인상적인 속도로 발전하고 있는 듯하다.

이러한 기계가 OpenAI의 음성 엔진과 언어 모델을 사용하여 말을 하기 시작하면 전통적인 산업용 로봇과 얼마나 다른지 실제로 실감하게 된다.

진정한 범용 휴머노이드는 아직 먼 미래지만, 이를 만드는 회사들은 가능한 한 빨리 실제 고객 운영에서 간단하고 유용한 작업을 수행하도록 만들고 싶어한다. 실제 수익원보다는 데이터를 수집하고 고객에게 차세대 AI 직원과 함께 일하는 방법에 대해 교육하는 것이 더 중요할 것입니다. 하지만 어느 쪽이든 자동차 제조는 초기 휴머노이드 로봇 도입을 위한 핵심 산업인 듯하다.

예를 들어 Apptronik은 Mercedes와 계약을 맺고 Apollo 봇을 시험했습니다 . 이 분야의 유서 깊은 원조인 Boston Dynamics Atlas 로봇조차도 자동차 제조 작업을 위한 훈련을 하는 모습이 보였다.

물론 테슬라는 Optimus 봇을 훈련하고 테스트하고 초기 가치를 얻기 위한 자체의 거대한 자동차 생산 시설을 보유하고 있다. 그러나 Figure 설립자 Brett Adcock은 이러한 사내 접근 방식이 테슬라 로봇에 너무 관대한 것 같다고 생각하며, "실패하면 우리를 해고할 외부 고객을 확보하는 것은 Figure에 경쟁 우위가 될 것입니다."라고 트윗했다

오늘은 아래의 완전 자율 주행 'BMW Full Use Case' 비디오에서 Figure bot이 어떻게 훈련되는지 살펴보겠다.

이것은 우리가 본 가장 지구를 뒤흔드는 놀라운 휴머노이드 로봇 영상은 아니지만, 여기에는 긍정적인 점이 많이 있다. 01은 고무 끝 손가락으로 크고 복잡한 모양을 잡는 법을 배우고 있다. 물건에 부딪히지 않고 움직이는 법을 배우고 있습니다. 아직은 제 아이들에게 권장할 만한 기술은 아니지만.

구멍을 통과하는 데 필요한 두 개의 위치 고정 페그가 판으로 막혀 있는 상황에서도 큰 접시를 그 지그 위에 놓을 수 있다는 것은 결코 쉬운 일이 아니다.

두 개의 작은 조각을 각각 한 손으로 집어 올리는 것은 사람이 한 번에 두 개씩 하는 일이기 때문에 그다지 인상적이지 않다. 하지만 그것은 그것들이 잘못된 방향으로 놓여 있음을 올바르게 식별하고, 지그에 맞춰 방향을 정하고 정렬하고, 올바른 방향으로 튀어나오게 한다. 그리고 그것들이 제대로 놓여 있지 않다는 것을 알아차리면 손등으로 그것들을 제자리에 두드려서 자신의 오류를 수정한다.

반면에... 글쎄요, 한 건방진 YouTube 댓글러가 지적했듯이, 분명히 일당이 아니라 시간당으로 지불하고 있다. 하지만 Figure의 공로로, 이 회사는 분명히 영상 속도를 높이지 않고 있으며, 이런 종류의 동작은 시간이 지남에 따라 더 빠르고 매끄러워질 것.

이것은 위에 표시된 2월의 회사 첫 번째 실제 작업 과제 시연에서 크게 발전한 것처럼 보이지 않을 수 있다. 둘 다 "물건을 집어 올리고 내려놓는" 유형의 과제로 분류될 수 있으므로 이 업데이트는 혁신적이라기보다는 진화적이라고 느껴진다.

하지만 01은 확실히 훨씬 더 복잡하고 흥미로운 모양을 채택하고 있으며, 더 복잡한 그립이 필요하다. 그리고 그것은 단순히 컨베이어 벨트에 상자를 놓는 것이 아니라, 정밀한 지그에 놓기 위해 복잡한 부품을 정렬하는 것이다.

영상은 "BMW 그룹, 스파르탄버그 공장"으로 마무리하지만, Figure의 자체 건물에서 테스트 장비로 촬영한 것 같다. 그렇다고 가정하면, 01이 BMW 생산 현장에서 언제쯤 작동을 시작할지는 확실하지 않다.

이 로봇들이 실제 작업에서 어떤 성과를 보이는지 보는 것은 흥미로울 것입니다. 처음에는 느리고 다루기 힘들고 제한적일 것이지만, AI 행동 모델이 발전함에 따라 동작과 기술 습득 속도가 모두 빨라질 것이다.

하지만 세계를 장악하고, 수백만 대가 생산되고, 사회 전반에 걸쳐 거대한 변화를 일으키려면 오늘날의 고기와 뼈로 이루어진 노동자들보다 분명한 경제적 이점을 증명해야 한다. 바로 여기서 상황이 정말 흥미로워지기 시작할 것!  출처: 피규어

현실적인 가상 쥐를 통해 본 로봇의 민첩성 향상

쥐는 놀라울 정도로 민첩한 동물이다. 커튼을 타고 올라가고, 높은 선반을 뛰어내리고, 복잡한 지형을 가로질러 달려갈 수 있다. 예를 들어, 이상한 모양의 물건이 쌓인 지하실을 정신 나간 속도로 달려갈 수 있다.

반면 로봇은 민첩하지 않다. 최근 AI가 움직임을 안내하기 위해 발전했지만, 로봇은 여전히 뻣뻣하고 서투르며, 특히 새로운 환경을 탐색할 때 그렇다.

로봇을 더 민첩하게 만들려면 생물학적 뇌에서 추출한 알고리즘으로 제어해 보는 건 어떨까? 우리의 움직임은 물리적 세계에 뿌리를 두고 있으며, 경험에 기반을 두고 있다. 이 두 가지 구성 요소를 통해 우리는 다양한 주변 환경을 쉽게 탐험할 수 있다.

하나의 큰 장애물이 있다. 수십 년간의 연구에도 불구하고 신경과학자들은 아직 뇌 회로가 어떻게 움직임을 제어하고 조정하는지 정확히 알아내지 못했다. 대부분의 연구에서는 신경 활동을 측정 가능한 운동 반응(예: 손의 경련이나 다리를 들어올리는 속도)과 연관시켰다. 다시 말해, 우리는 움직임을 설명할 수 있는 뇌 활성화 패턴을 알고 있다. 하지만 어떤 신경 회로가 처음에 그러한 움직임을 유발할까?

우리는 디지털 형태로 재창조를 시도함으로써 답을 찾을 수 있다. 유명한 물리학자 리처드 파인만이 말했듯이, "내가 만들 수 없는 것은 이해하지 못한다."

이번 달, Google DeepMind와 Harvard University는 복잡한 움직임을 제어하는 신경 회로를 파악하기 위해 현실적인 가상 쥐를 만들었다. 인공 신경망으로 구성된 쥐의 디지털 뇌는 열린 경기장에서 뛰어다니는 실제 쥐의 수십 시간 분량의 신경 기록으로 훈련되었다.

연구팀은 인공 뇌의 활성화 패턴을 살아 숨쉬는 동물의 신호와 비교한 결과, 디지털 뇌가 실제 쥐의 신경 활성화 패턴을 예측하고 동일한 행동(예를 들어, 뒷다리로 뛰거나 일어서는 행동)을 생성할 수 있다는 것을 발견했다.

하버드의 연구 저자인 벤스 올베츠키 박사는 보도자료에서 협업이 "환상적"이라고 말했다. "DeepMind는 생체역학적 에이전트가 복잡한 환경을 돌아다니도록 훈련하는 파이프라인을 개발했다. 우리는 단순히 그러한 시뮬레이션을 실행하고 이러한 네트워크를 훈련할 리소스가 없었다."

이 연구는 생물학적 뇌의 메커니즘을 더 잘 이해하고, 이를 통해 로봇의 민첩성을 향상시킬 수 있는 새로운 길을 여는 중요한 진전을 이루었다.

 

Here are some images related to a virtual mouse controlled by AI:

1. ALT
2. ALT
3. ALT
4. ALT
5. ALT
   
6. ALT
7. ALT
8. ALT
9. ALT
10. ALT

Here is the generated illustration:

구글 딥마인드의 AI 쥐 뇌, 로봇을 실제 쥐처럼 뛰어다니게 할 수 있다

 

쥐는 놀라울 정도로 민첩한 동물이다. 커튼을 타고 올라가고, 높은 선반을 뛰어내리고, 복잡한 지형을 가로질러 달려갈 수 있다. 예를 들어, 이상한 모양의 물건이 쌓인 지하실을 정신 나간 속도로 달려갈 수 있다.

반면 로봇은 민첩하지 않다. 최근 AI가 움직임을 안내하기 위해 발전했지만, 로봇은 여전히 ​​뻣뻣하고 서투르며, 특히 새로운 환경을 탐색할 때 그렇다.

로봇을 더 민첩하게 만들려면 생물학적 뇌에서 추출한 알고리즘으로 제어해 보는 건 어떨까? 우리의 움직임은 물리적 세계에 뿌리를 두고 있으며 경험에 기반을 두고 있다. 이 두 가지 구성 요소를 통해 우리는 다양한 주변 환경을 쉽게 탐험할 수 있다.

하나의 큰 장애물이 있다. 수십 년간의 연구에도 불구하고 신경과학자들은 아직 뇌 회로가 어떻게 움직임을 제어하고 조정하는지 정확히 알아내지 못했다. 대부분의 연구에서는 신경 활동을 측정 가능한 운동 반응(예: 손의 경련이나 다리를 들어올리는 속도)과 연관시켰다. 다시 말해, 우리는 움직임을 설명 할 수 있는 뇌 활성화 패턴을 알고 있다. 하지만 어떤 신경 회로가 처음에 그러한 움직임을 유발할까?

우리는 디지털 형태로 재창조를 시도함으로써 답을 찾을 수 있습니다. 유명한 물리학자 리처드 파인만이 말했듯이, "내가 만들 수 없는 것은 이해하지 못한다."

이번 달, Google DeepMind와 Harvard University는 복잡한 움직임을 제어하는 ​​신경 회로를 파악하기 위해 현실적인 가상 쥐를 만들었다. 인공 신경망으로 구성된 쥐의 디지털 뇌는 열린 경기장에서 뛰어다니는 실제 쥐의 수십 시간 분량의 신경 기록으로 훈련되었다. 

매우 민첩한 네 손가락 로봇 손을 개발

브리스톨 대학(Bristol University)의 연구팀은 AnyRotate라는 인공 촉각 손가락 끝이 있는 매우 민첩한 네 손가락 로봇 손을 개발했다. 이 혁신적인 로봇 손은 손이 거꾸로 된 상태에서도 모든 방향과 방향으로 물체를 감지하고 회전할 수 있으며, 이는 이전에는 불가능했던 기능이다.

이러한 수준의 민첩성을 달성하려면 정밀한 모터 제어를 위해 풍부한 터치 정보를 추출하고 활용해야 했다. 연구원들은 로봇 손의 민첩성을 향상시키면 슈퍼마켓 상품을 취급하거나 재활용 폐기물을 분류하는 것과 같은 자동화된 작업을 크게 발전시킬 수 있다고 믿는다. 그들의 연구에 대한 자세한 내용은 GitHub에서 확인할 수 있다.

로봇 조작 개선에는 작동 복잡성, 정밀한 제어 및 환경 불확실성으로 인해 여러 손가락을 사용하는 손으로 조작하는 문제가 포함된다. 특히 OpenAI의 최근 발전은 여러 대의 카메라가 필요한 자체 폐색이 발생하기 쉬운 비전 시스템에 의존한다. 고유 수용 감각과 촉각 감지는 운동 중에도 공간 조작의 중추적인 역할을 하는 것으로 부상했으며, 복잡한 물리학과 중력 불변 파악에 대한 이해가 필요하다.

연구원들에 따르면, 로봇과 물체의 세부적인 상호 작용에 중요한 촉각 감지는 시뮬레이션과 현실 사이의 격차에 직면하여 고해상도 데이터 사용을 제한한다. 향상된 촉각 표현은 손 작업에서 향상된 손재주와 확장된 기능을 약속하며 향후 발전의 잠재력을 강조한다. 연구팀은 고급 촉각 감지 기능을 사용하여 중력의 영향을 받지 않고 손에 있는 물체를 여러 축에 걸쳐 회전시키는 로봇 시스템을 개발했다. 그들은 목표 지향적 강화 학습(RL)과 조밀한 촉각 피드백을 결합했다.

"브리스톨에서 우리의 인공 촉각 손가락 끝은 인간 피부의 내부 구조를 복사하는 것을 기반으로 피부 아래쪽에 핀 모양의 유두의 3D 프린팅 메쉬를 사용합니다."라고 Nathan Lepora 교수는 성명서에서 말했다.

처음에 연구원들은 시뮬레이션을 현실 세계에 적용하는 프레임워크를 구축하고 다축 물체 조작을 위한 정확한 정책을 훈련하기 위해 상세한 촉각 표현을 개발했다. 그들은 시끄러운 환경에서 안정적인 조작에 중요한 촉각 이미지에서 접촉 자세와 힘을 예측하도록 관찰 모델을 훈련했다.

실제 응용 분야에서는 손가락 끝에 촉각 센서가 있는 네 손가락의 완전 작동식 로봇 손을 장착하여 안정적이고 정확한 손 내 물체 회전을 보장했다. 실제 테스트에서 팀의 조밀한 촉각 정책은 다양한 물체를 효과적으로 처리하여 단순한 촉각 방법보다 다양한 방향으로 더 잘 회전했다.

놀랍게도, 특정 미끄러짐 감지 기능이 없어도 고급 촉각 센서는 물체가 움직이기 시작하는 시점을 감지하고 그에 따라 조정할 수 있다. 연구원에 따르면 이는 상세한 촉각 감지가 손에 있는 물체를 안전하게 조작하는 능력을 향상시키는 방법을 보여주며 로봇 공학에서 중요한 역할을 강조한다.

이 연구는 고급 촉각 감지를 사용하여 손에 있는 물체를 모든 축과 방향으로 회전시키는 일반적인 정책을 선보였으며, 이는 로봇 민첩성의 이정표를 세웠다. 촘촘한 터치는 잘 수행되었지만, 상자 모양이나 길쭉한 물체는 서로 다른 그립 포인트에서 나오는 유사한 촉각 피드백으로 인해 어려움을 겪었다. 촉각 이미지, 접촉력 필드로 촉각 표현을 향상시키거나 비전을 통합하면 견고성이 향상될 수 있다.