단일 알고리즘을 사용하면 로봇이 실시간으로 올바른 결정을 내리는 데 도움이 될 수 있다.

 

2018년, Google DeepMind의 AlphaZero 프로그램은 머신러닝과 특수 알고리즘을 사용하여 체스, 쇼기, 바둑 게임을 스스로 학습하여 정의된 그리드 내에서 게임에서 이길 수 있는 최상의 움직임을 결정했다.

이제 Caltech 연구원 팀은 자율 로봇을 위한 유사한 알고리즘을 개발했다. 이는 자유롭게 움직이는 로봇이 현실 세계를 탐색할 때 최상의 움직임을 결정하는 데 도움이 되는 계획 및 의사 결정 제어 시스템이다.

 

"우리 알고리즘은 실제로 모든 가능하고 중요한 동작을 전략화한 다음 탐색하고, 움직이는 로봇을 포함한 여러 시뮬레이션 게임을 하는 것과 같은 동적 시뮬레이션을 통해 최상의 동작을 선택한다." 라고 Caltech의 제어 및 동적 시스템 브렌 교수이자 NASA를 대신하여 관리하는 JPL의 수석 연구 과학자인 순조 청은 이렇게 말한다. "여기서 획기적인 혁신은 일반적인 최적화 기반 방법으로는 결코 찾을 수 없는 최적의 안전한 동작을 찾는 매우 효율적인 방법을 도출했다는 것이다."

 

이 팀은 저널 사이언스 로보틱스의 12월 표지 기사에서 스펙트럼 확장 트리 검색(SETS)이라고 하는 이 기술을 설명한다.

 

많은 로봇은 매우 자유롭게 그리고 어떤 방향으로든 움직일 수 있다. 예를 들어, 집에서 노인을 돕도록 설계된 휴머노이드 로봇을 생각해 보라. 그러한 로봇은 다양한 방식으로 움직일 수 있어야 하며, 본질적으로 작업을 완료하는 동안 장애물이나 예상치 못한 사건에 직면할 때 공간 내에서 어떤 방향으로든 움직일 수 있어야 한다. 그 로봇의 동작, 장애물 및 과제 세트는 예를 들어 자율 주행차의 동작, 장애물 및 과제 세트와 매우 다를 것이다.

그렇다면 단일 알고리즘이 어떻게 다양한 로봇 시스템이 주변 환경을 이동하기 위한 최상의 결정을 내리도록 안내할 수 있을까?

Caltech의 제어 및 동적 시스템 대학원생이자 새로운 논문의 공동 주저자인 존 라스롭(John Lathrop)은 "디자이너가 들어가서 이러한 동작을 직접 만들고 '이것은 로봇이 할 수 있어야 하는 개별적인 동작 세트이다'라고 말해야 하는 상황은 원하지 않을 것이다."라고 말한다. "이를 극복하기 위해 SETS를 생각해냈다."

 

 

SETS는 제어 이론과 선형 대수를 사용하여 물리적 환경에서 로봇 플랫폼의 기능을 최대한 활용하는 자연스러운 동작을 찾는다.

기본적인 기본 개념은 Google의 AlphaZero에서도 사용하는 의사 결정 알고리즘인 몬테카를로 트리 탐색을 기반으로 한다. 여기서 몬테카를로는 본질적으로 무작위적인 것을 의미하며, 트리 탐색은 시스템의 데이터 관계를 나타내는 분기 구조를 탐색하는 것을 말한다. 이러한 트리에서 루트는 에지로 연결된 소위 자식 노드로 분기된다.

 

바둑과 같은 게임에 몬테카를로 트리 탐색을 사용하면 가능한 이동이 새 노드로 표시되고 가능한 궤적의 더 많은 무작위 샘플이 시도됨에 따라 트리가 커진다. 알고리즘은 가능한 이동을 실행하여 다양한 노드의 최종 결과를 확인한 다음 포인트 평가에 따라 최상의 결과를 제공하는 노드를 선택한다.

 

문제는 물리적 세계에서 작동하는 로봇과 같은 연속 동적 시스템에 이 분기 트리 구조를 사용할 때 트리의 총 궤적 수가 기하급수적으로 증가한다는 것이다. "어떤 문제의 경우 모든 가능성을 시뮬레이션하고 그 중 가장 좋은 것을 알아내려면 수년, 어쩌면 수백 년이 걸릴 것이다."라고 그는 말한다.

 

이를 극복하기 위해 SETS는 탐사/활용 트레이드오프를 활용한다. "우리는 이전에 조사하지 않은 궤적을 시뮬레이션하고 싶다. 그것이 탐사이다."라고 라스롭은 말한다. "그리고 우리는 이전에 높은 보상을 낸 경로를 계속 살펴보고 싶다. 그것이 활용이다. 알고리즘은 탐사와 활용을 균형 있게 조정함으로써 모든 가능한 궤적 중에서 최적의 솔루션에 빠르게 수렴할 수 있다."

예를 들어 로봇이 벽에 부딪히게 할 수 있는 몇 가지 가능한 행동을 계산하기 시작하면 트리의 해당 분기에 있는 다른 노드를 조사할 필요가 없다.

 

 

"이러한 탐색/활용 트레이드오프와 로봇의 자연스러운 동작에 대한 검색을 통해 로봇은 실시간으로 생각하고 움직이며 새로운 정보에 적응할 수 있다." Caltech의 기계 및 토목 공학 박사후 연구원이자 논문의 공동 주저자인 벤자민 리비에르의 말이다.

 

SETS는 약 1/10초 만에 전체 트리 검색을 실행할 수 있다. 그 시간 동안 수천에서 수만 개의 가능한 궤적을 시뮬레이션하고 가장 좋은 궤적을 선택한 다음 행동할 수 있다. 루프는 계속해서 반복되어 로봇 시스템이 매초 많은 결정을 내릴 수 있는 능력을 제공한다.

 

 

SETS 알고리즘의 주요 특징은 기본적으로 모든 로봇 플랫폼에 적용할 수 있다는 것이다. 기능과 성능을 개별적으로 프로그래밍할 필요가 없다. 새로운 논문에서 순조 청과 그의 동료들은 세 가지 완전히 다른 실험 설정에서 알고리즘의 성공적인 유용성을 보여준다. 이는 로봇 논문에서 매우 드문 일이다.

 

방법 및 실험 개요. (A) 우리 방법인 SETS는 동적 시스템을 위한 새로운 트리 기반 계획 알고리즘이다. 트리의 모서리(회색으로 표시)는 비선형 피드백 제어를 사용하여 로컬 선형화(파란색으로 표시)의 스펙트럼 모드를 추적하여 구성된다. (B~F) 우리는 SETS가 지상, 공중 및 우주 도메인을 아우르는 로봇 도메인에 널리 적용 가능하다는 것을 보여준다.

 

첫 번째 실험에서 쿼드로터 드론은 4개의 주황색 공을 피하면서 4개의 떠 있는 흰색 공을 관찰할 수 있었고, 무작위로 발생하는 위험한 기류 또는 열기류가 가득한 비행장을 탐색했다. 드론 실험은 Caltech의 자율 시스템 및 기술 센터(CAST)에서 수행되었다.

 

두 번째 실험에서 이 알고리즘은 추적된 지상 차량의 인간 운전자를 증강하여 사이드레일을 치지 않고 좁고 구불구불한 트랙을 탐색할 수 있도록 했다. 그리고 마지막 설정에서 SETS는 두 개의 고정된 우주선이 다른 우주선, 소행성 또는 다른 물체를 나타낼 수 있는 세 번째 에이전트를 포획하고 방향을 바꾸는 데 도움을 주었다.

 

Caltech 학생과 연구자 팀은 현재 1월 9일 라스베이거스에서 열리는 가전제품박람회(CES)에서 Indy 자율 주행 챌린지에 참가할 Indy 자동차에 SETS 알고리즘 버전을 적용하고 있다.