향상된 로봇 비전을 위해 인간의 눈을 모방한 카메라 시스템

PhD 학생 보타오 허(Botao He)가 이끄는 연구팀은 사이언스 로보틱스(Science Robotics) 저널에 발표된 논문에서 연구 결과를 자세히 설명했다. 그들의 발명품인 AMI-EV(인공 미세 단속 강화 이벤트 카메라Artificial Microsaccade-Enhanced Event Camera)는 로봇 비전 및 자율 시스템의 중요한 과제를 해결한다.

시사 카메라의 문제점

로봇 공학 분야의 비교적 새로운 기술인 이벤트 카메라는 기존 카메라에 비해 움직이는 물체를 추적하는 데 탁월하다. 그러나 움직임이 많은 시나리오에서 선명하고 흐릿한 이미지를 캡처하는 데는 상당한 제한이 있다.

이러한 단점은 주변 환경을 탐색하고 대응하기 위해 정확하고 시의적절한 시각적 정보에 의존하는 로봇, 자율주행차 및 기타 기술에 심각한 문제를 제기한다. 움직이는 물체에 초점을 유지하고 정확한 시각적 데이터를 캡처하는 능력은 이러한 시스템이 안전하고 효과적으로 작동하는 데 중요하다.

인간 생물학으로부터의 영감

이 문제를 해결하기 위해 연구팀은 자연, 특히 인간의 눈에서 영감을 얻었다. 그들은 사람이 시야에 집중하려고 할 때 발생하는 작은 비자발적 안구 운동인 미세 단속적 움직임에 초점을 맞췄다.

이러한 미세하지만 연속적인 움직임을 통해 인간의 눈은 물체에 초점을 유지하고 시간이 지남에 따라 색상, 깊이, 그림자와 같은 시각적 질감을 정확하게 인식할 수 있다. 이 생물학적 과정을 모방함으로써 팀은 로봇 비전에서 유사한 안정성과 명확성을 달성할 수 있는 카메라 시스템을 만드는 것을 목표로 했다.

UMIACS 컴퓨터 비전 연구실

인공 미세 단속성 강화 이벤트 카메라(AMI-EV)

AMI-EV의 핵심 혁신은 마이크로단속 운동을 기계적으로 복제하는 능력에 있다. 팀은 렌즈에 포착된 광선의 방향을 바꾸기 위해 카메라 내부에 회전 프리즘을 통합했다. 이러한 연속적인 회전 움직임은 인간 눈의 자연스러운 움직임을 시뮬레이션하여 카메라가 인간의 시각과 유사한 방식으로 기록된 개체의 질감을 안정화할 수 있도록 한다.

하드웨어 혁신을 보완하기 위해 팀은 AMI-EV 내에서 프리즘의 움직임을 보상하는 특수 소프트웨어를 개발했다. 이 소프트웨어는 변화하는 빛 패턴을 안정적인 이미지로 통합하여 눈의 끊임없는 미세한 움직임을 통해 시각적 정보를 처리하고 해석하는 뇌의 능력을 효과적으로 모방한다.

이러한 하드웨어 및 소프트웨어 발전의 조합을 통해 AMI-EV는 중요한 움직임이 포함된 시나리오에서도 명확하고 정확한 이미지를 캡처하여 현재 이벤트 카메라 기술의 주요 한계를 해결할 수 있다.

잠재적인 응용

이미지 캡처에 대한 AMI-EV의 혁신적인 접근 방식은 다양한 분야에 걸쳐 광범위한 잠재적 애플리케이션을 열어준다.

●로봇공학 및 자율주행차: 선명하고 움직임이 안정적인 이미지를 캡처하는 카메라의 능력은 로봇과 자율주행차의 인식 및 의사결정 능력을 크게 향상시킬 수 있다. 이러한 개선된 비전은 실시간으로 환경을 더 잘 식별하고 대응할 수 있는 보다 안전하고 효율적인 자율 시스템으로 이어질 수 있다.

●가상 및 증강현실: 몰입형 기술 영역에서 AMI-EV는 극한의 조명 조건에서 낮은 대기 시간과 우수한 성능을 제공하므로 가상 및 증강현실 애플리케이션에 이상적이다. 카메라는 머리와 몸의 움직임을 빠르게 계산하고 멀미를 줄이며 전반적인 사용자 경험을 향상시켜 보다 원활하고 현실적인 경험을 제공할 수 있다.

●보안 및 감시: 카메라의 모션 감지 및 이미지 안정화 기능은 보안 및 감시 시스템에 혁명을 일으킬 수 있다. 다양한 조명 조건에서 더 높은 프레임 속도와 더 선명한 이미지는 더 정확한 위협 탐지와 향상된 전반적인 보안 모니터링으로 이어질 수 있다.

●천문학 및 우주 이미징: 전례 없는 선명도로 빠른 움직임을 포착하는 AMI-EV의 능력은 천문 관측에서 매우 귀중한 것으로 입증될 수 있다. 이 기술은 천문학자들이 천체와 사건에 대한 보다 상세한 이미지를 포착하는 데 도움이 될 수 있으며 잠재적으로 우주 탐사의 새로운 발견으로 이어질 수 있다.

성능 및 장점

AMI-EV의 가장 인상적인 기능 중 하나는 초당 수만 프레임의 모션을 캡처하는 능력이다. 이는 일반적으로 초당 30~1,000프레임을 캡처하는 대부분의 상용 카메라의 기능을 훨씬 능가하는 것이다.

AMI-EV의 성능은 프레임 속도 측면에서 일반적인 상업용 카메라의 성능을 능가할 뿐만 아니라 빠른 움직임 중에 이미지 선명도를 유지하는 능력에서도 뛰어나다. 이를 통해 다양한 응용 분야에서 움직임을 더욱 부드럽고 사실적으로 묘사할 수 있다.

기존 카메라와 달리 AMI-EV는 까다로운 조명 시나리오에서 탁월한 성능을 보여준다. 이러한 장점은 실외 자율 차량이나 우주 이미징과 같이 조명 조건이 가변적이거나 예측할 수 없는 응용 분야에서 특히 유용하다.

미래의 의미

AMI-EV의 개발은 로봇 공학 및 자율 시스템을 넘어 여러 산업을 변화시킬 수 있는 잠재력을 가지고 있다. 그 응용 분야는 의료와 같은 분야로 확장되어 보다 정확한 진단을 지원하거나 제조 분야에서 품질 관리 프로세스를 개선할 수 있다.

이 기술이 계속 발전함에 따라 더욱 발전되고 유능한 시스템을 위한 기반이 마련될 수 있다. 향후 반복에서는 잠재적으로 머신러닝 알고리즘을 통합하여 이미지 처리 및 객체 인식 기능을 더욱 향상시킬 수 있다. 또한 기술의 소형화로 인해 더 작은 장치에 통합되어 잠재적인 응용 분야가 더욱 확장될 수 있다.