두 설정 모두 타사 스마트글래스 또는 VR 헤드셋에 통합될 수 있으며, 카메라 기반 시스템보다 훨씬 적은 전력을 사용합니다. 또한 사용자 얼굴의 이미지도 캡처하지 않습니다.
GazeTrak은 현재 안경의 각 렌즈 프레임 내부에 배열된 스피커 1개와 마이크 4개를 사용합니다(총 2개의 스피커와 8개의 마이크). 스피커는 들리지 않는 펄스 음파를 방출하며, 이 음파는 안구에 반사되어 마이크에 포착됩니다.
인간의 눈알은 완벽하게 둥근 구형이 아니기 때문에 눈알이 어느 쪽을 향하고 있는지에 따라 각 에코가 각 마이크에 도달하는 데 서로 다른 시간이 걸립니다.
따라서 무선으로 연결된 스마트폰이나 노트북에서 AI 기반 소프트웨어를 활용하면(밀리초의 차이를 지속적으로 분석) 사용자의 시선 방향을 추적할 수 있습니다. 그리고 중요한 것은 이 기술이 시끄러운 배경 소음에 의해 부정적인 영향을 받지 않는다는 것입니다.
현재 개념 증명 형식에서 GazeTrak은 기존 카메라 기반 안구 추적 웨어러블만큼 정확 하지 않습니다. 즉, 해당 장치의 전력 소비량은 5%에 불과합니다. 과학자들은 GazeTrak 시스템이 기존 Tobii Pro Glasses 3와 동일한 용량의 배터리를 사용한다면 Tobiis의 1.75시간에 비해 38.5시간 동안 작동할 수 있다고 말합니다.
또한 연구원들은 기술이 더욱 발전함에 따라 시스템의 정확도가 극적으로 향상될 것이라고 말합니다.
EyeEcho는 또한 음파를 보내고 에코를 수신합니다. 단, 안경의 양쪽 암 힌지 옆에 있는 스피커 1개와 마이크 1개(총 2개의 스피커와 2개의 마이크)를 사용합니다.
이 경우, 얼굴 피부의 미묘한 움직임이 각 펄스가 방출되고 에코가 감지되는 사이의 경과 시간에 영향을 미칩니다. AI 소프트웨어는 이러한 시간 차이를 특정 피부 움직임과 일치시키고, 이는 다시 특정 얼굴 표정과 일치됩니다.
12명의 피험자 각각의 얼굴에 대해 단 4분간 훈련을 실시한 후, 시스템은 그들이 다양한 환경에서 다양한 일상 활동을 수행하는 경우에도 그들의 표정을 매우 정확하게 읽는 것으로 입증되었습니다.
Ke Li와 동료들은 이전에 스피커와 마이크가 이어폰에 통합된 EarIO 라는 유사한 표정 판독 시스템을 개발했습니다 . 해당 설정에 비해 EyeEcho는 더 적은 훈련 데이터를 사용하여 더 나은 성능을 제공하고 정확도는 오랜 기간 동안 안정적으로 유지된다고 합니다.
Li는 "이 연구 분야나 얼굴 표정이나 시선 움직임을 추적하기 위한 상용 제품에는 Vision Pro나 Oculus와 같은 카메라 기반 시스템이 많이 있습니다"라고 말했습니다. "그러나 모든 사람이 웨어러블 카메라로 당신과 주변 환경을 항상 포착하기를 원하는 것은 아닙니다."
GazeTrak 및 EyeEcho 에 관한 논문은 올해 말에 발표될 예정이며 현재 Arxiv를 통해 액세스할 수 있습니다.
그리고 이러한 시스템만으로는 충분하지 않은 것처럼, 코넬 과학자들은 이전에 스마트글래스에 내장할 수 있는 또 다른 얼굴 판독 소나 기술을 개발했습니다. EchoSpeech 라는 이름의 이 장치 는 착용자의 입술을 모니터링하여 그 사람이 조용히 말하는 단어를 읽습니다. 출처: 코넬대학교
