연구팀이 개발한 새로운 알고리즘은 이러한 한계를 극복하기 위해 시도되었으며 전자 이미징 저널에 발표된 논문에 자세히 설명되어 있다. 팀의 주요 목표 중 하나는 이러한 문제를 극복할 뿐만 아니라 소비자 수준 장치에 쉽게 적용할 수 있는 알고리즘을 만드는 것이었다.

다양한 손 유형에 대한 적응성

알고리즘의 가장 인상적인 측면 중 하나는 다양한 손 유형에 대한 적응성이다. 먼저 사용자의 손 유형을 날씬함, 보통 또는 넓은 것으로 분류하려고 시도한다. 손바닥 너비, 손바닥 길이 및 손가락 길이 간의 관계를 설명하는 세 가지 측정값을 기반으로 한다.

분류에 성공한 후 손 제스처 인식 프로세스는 입력 제스처를 동일한 손 유형의 저장된 샘플과 비교한다.

“전통적인 단순 알고리즘은 다양한 손 유형에 대처할 수 없기 때문에 낮은 인식률로 어려움을 겪는 경향이 있다. 먼저 입력 제스처를 손 유형별로 분류한 다음 이 유형과 일치하는 샘플 라이브러리를 사용하면 거의 무시할 수 있는 리소스 소비로 전체 인식률을 향상시킬 수 있다.”라고 Yu가 말했다.

사전 인식 단계

팀의 방법은 또한 "바로 가기 기능"을 사용하여 사전 인식 단계를 수행하는 데 의존한다. 인식 알고리즘은 9개의 가능한 제스처의 입력 제스처를 식별할 수 있지만 입력 제스처의 모든 기능을 가능한 모든 제스처에 대해 저장된 샘플의 특성과 비교하는 것은 매우 시간이 많이 걸린다.

이를 극복하기 위해 알고리즘의 사전 인식 단계는 가능한 9개의 제스처 중 가장 가능성이 높은 제스처 3개를 선택하기 위해 손 면적의 비율을 계산한다. 이로써 후보 제스처의 수는 3개로 늘어났고, 최종 제스처는 “Hu 불변 모멘트”를 기반으로 보다 복잡하고 정밀한 특징 추출에 의해 결정된다.

"제스쳐 사전 인식 단계는 필요한 계산 및 하드웨어 리소스의 수를 줄일 뿐만 아니라 정확도를 손상시키지 않으면서 인식 속도를 향상시킨다."라고 Yu는 말한다.

알고리즘은 USB 카메라를 사용하여 상용 PC 프로세서와 FPGA 플랫폼에서 테스트되었다. 팀은 40명의 자원 봉사자에게 9개의 손 제스처를 여러 번 수행하도록 요청했으며 40개를 더 사용하여 시스템의 정확도를 결정했다.

이 시스템은 93% 이상의 정확도로 실시간으로 손짓을 인식할 수 있음을 시연했다. 이는 입력 제스처 이미지가 회전, 번역 또는 크기 조정된 경우에도 마찬가지이다.

연구원들은 이제 다양한 조명 조건에서 알고리즘의 성능을 개선하고 가능한 제스처의 수를 늘리는 데 집중할 것이라고 말한다.