청각 장애인의 기차 여행을 돕는 인공지능 기반 아바타

청각 장애인에게 기차 여행은 도박과도 같다. 보통은 아무 일도 일어나지 않는다. 그들은 목적지까지 기차를 타고 일을 계속한다.

하지만 평소와 다른 일이 발생하면 대부분의 업데이트가 오디오 안내로만 전달되기 때문에 상황이 빠르게 무섭게 될 수 있다. 청각 장애인 여행객은 기차가 다른 플랫폼으로 옮겨져서 기차를 놓치거나, 기차가 정차하지 않아서 역에서 휙 지나가는 것을 지켜볼 수도 있다. 또한 다른 모든 사람이 대피한 후에도 비상 상황에서 기차 객차에 남아서 역 직원에게 구조되어야 할 수도 있다.

이러한 모든 예는 시드니의 청각 장애인의 실제 경험에서 따왔다. 하지만 연구원들은 시드니 기차와 호주 청각 장애인 커뮤니티 구성원과 협력하여 오디오 안내를 자동으로 오슬란(Auslan)으로 번역할 수 있는 고급 인공지능(AI) 기반 수화 아바타를 개발하고 있다.

아바타에 대한 이들의 작업은 다음 단계인 오슬란(Auslan)을 "이해"할 수 있는 AI 시스템을 개발하는 단계로 이어진다.

여행은 항상 계획대로 진행되지 않는다.

올해 초에 연구원들은 시드니에서 청각 장애인 기차 여행객 3명을 대상으로 시범 연구를 진행했다. 기차 여행 중에 잘못될 수 있는 일에 대한 이야기를 공유했을 뿐만 아니라, 그들은 여행을 순조롭게 진행하기 위해 시도되고 검증된 전략을 사용한다는 것을 알게 되었다.

그들의 전략은 일반 통근자에게 익숙할 수 있다. 예를 들어, 그들은 앱으로 여행을 계획하고 일찍 도착하여 무언가 변경되었는지 알려주는 표지판을 찾는다.

하지만 그들은 또한 업데이트 사항을 확인하기 위해 정보 화면 근처에 서 있어야 하고, 상황이 변경되면 역 직원이나 다른 승객에게 정보를 요청해야 한다고 느꼈다고 말했다. 그들은 또한 기차에 타는 동안 매우 경계하며, 정거장을 놓치지 않도록 주의한다고 보고했다.

하지만 이러한 전략은 청각 장애인 여행객이 비상 상황을 포함한 중요한 정보를 항상 받을 수 있도록 보장하지는 못했다. 예를 들어, 보통은 도움이 되지만 역 직원은 때때로 너무 바빠서 도움을 줄 수 없었다.

가장 큰 좌절은 다른 승객들이 정보를 제공할 의향이 없거나 제공할 수 없어서 청각 장애인 여행객이 그저 "군중을 따라가는" 상황에서 발생했다. 이는 종종 잘못된 장소에 도착하는 것을 의미했다.

수화 아바타 개발

음성-텍스트 소프트웨어는 이러한 문제 중 일부에 대한 쉬운 해결책처럼 보일 수 있다. 하지만 많은 청각 장애인에게 영어는 모국어가 아니며, 오슬란은 훨씬 더 쉽고 빠르게 처리될 수 있다.

청각 장애인 여행객은 완벽한 세상이라면 라이브 통역가를 원할 것이라고 말했다. 하지만 플랫폼이나 기차 화면에 표시되는 수화 아바타를 사용하여 자동 AI 기반 번역을 제공하는 것은 오디오 안내에서 핵심 단어를 식별하고, 올바른 오슬란 문법으로 문장을 생성하고, 어휘 라이브러리에서 해당 수화를 함께 꿰맬 수 있는 여러 가지 이유로 매력적이었다.

첫째, 알려진 어휘를 사용하는 공지사항의 실시간 번역이 가능하다. 이는 많은 공지사항이 비슷한 주제를 다루는 기차와 역의 맥락에서 관련이 있다.

둘째, 아바타와 수화는 주어진 상황의 필요에 맞게 사용자 정의할 수 있다. 예를 들어 화면 위치에 대한 정보를 사용하여 아바타가 출구나 다른 플랫폼을 가리키는 동안 올바른 방향으로 수화하도록 할 수 있다.

셋째, 여러 수화자가 아바타의 어휘에 수화를 기여한 다음, 이를 매끄럽게 연결하여 문장을 만들 수 있다.

그리고 중요한 점은 아바타가 실제 사람이 조직의 자동 생성 공지사항의 "얼굴"이 될 필요가 없다는 것이다. 이는 호주 청각 장애인 커뮤니티가 작고 긴밀하게 연결되어 있기 때문에 특히 중요하며, 번역에 문제가 발생하더라도 아무도 평판이 손상되지 않는다.

기술적 관점에서 아바타는 수화에 대한 최소 품질 임계값을 보장할 수도 있다. 우리는 모션 캡처를 사용하여 어휘 라이브러리의 각 수화가 정확하고 움직임이 명확한지 확인한다.

또한 그것은 우리가 "불쾌한 골짜기"를 피하는 데 도움이 된다. 인간과 비슷하지만 미묘하게 잘못된 것이 불안하게 느껴지는 효과이다. 우리는 AI가 최근에 생성한 손가락이 많은 괴물을 원하지 않는다.

모든 사람을 위한 AI

이 작업은 오슬란을 이해할 수 있는 AI 시스템을 만드는 우리의 광범위한 목표에 대한 한 단계이다. 이 AI는 청각 장애인과 정상인이 대화하는 것을 돕거나, 청각 장애인이 오슬란에서 기차 여행이나 기타 일상 업무에 대한 정보를 필요에 따라 얻을 수 있도록 하는 "챗봇 부스" 또는 앱 기반 보조원을 만드는 데 사용될 수 있다.

전 세계의 수화와 청각 장애인 문화는 청각 연구자와 AI 개발자가 알지 못할 수 있는 뉘앙스와 복잡성을 가지고 있다. 이러한 뉘앙스와 복잡성은 새로운 기술에 포함되어야 하며, 연구자와 개발자는 청각 장애인을 위한 것이 아니라 청각 장애인을 대상으로 AI 데이터 수집 및 설계에 언어 우선 접근 방식을 취해야 한다.

그래야만 AI가 청각 장애인의 실제 요구 사항, 즉 일상 생활의 모든 측면에서 그들의 안전과 독립성을 보장할 수 있다.