현대 항공기의 유지 보수는 복잡한 과정이다. 3D 정보 시각화 기능이 있는 AR 스마트 안경을 사용하면 항공기 정비사의 수리 및 유지 보수 작업이 더 쉬워지게 된다. 지침, 디스플레이 및 기술 도구와 같은 가상 요소는 제스처, 음성 및 시선 제어를 통해 작동할 수 있다. 증강현실 시스템의 도움으로 프라운호퍼 커뮤니케이션, 정보 처리 및 인체공학 연구소 FKIE의 연구원들은 Airbus A400M 유지 관리를 위한 개념과 솔루션을 개발했다.
현대 항공기에는 수많은 기계 및 전자 장치와 부품이 장착되어 있다. Airbus A400M과 같은 항공기에서 엔진 자체는 10,000개 이상의 개별 부품으로 구성된다. 따라서 항공기의 서비스 및 유지 보수는 까다로운 작업이다. 지금까지 인쇄된 작동 매뉴얼은 어려운 작업에서 항공기 정비사의 지침이 되었다. 그러나 이렇게 체계적으로 구성된 매뉴얼은 번거롭고 사용하기 어려울 수 있다. 특히 여러 매뉴얼을 동시에 참조해야 하는 경우에는 더욱 그렇다.
조종석과 같은 비좁은 공간에서 저글링 문서는 공간 문제와 명확성 부족을 초래한다. 또한 복잡한 조립 작업의 2차원 묘사는 항상 자명한 것이 아니며 오해의 소지가 있을 수 있다. 최악의 경우 유지보수 오류가 발생할 수 있다. AR 스마트 안경을 사용할 때 착용자의 시야에 오버레이 되는 가상 3D 가이드는 이러한 문제를 해결하고 장기적으로 2차원 유지 관리 지침을 대체할 수 있다.
프라운호퍼 FKIE의 "인간-기계 시스템" 부서에서 "Ariel" 프로젝트에 참여하는 연구원들은 증강현실이 정비 작업에서 항공기 정비사를 어떻게 지원할 수 있는지 평가했다. 예를 들어 "조종석에 디스플레이 장치 설치" 및 "작업장에서 배터리 유지 관리"라는 두 가지 사용 사례를 사용한다.
Airbus A400M의 프로토타입 컨셉은 Microsoft HoloLens 2 및 Epson Moverio BT-300의 두 가지 유형의 AR 안경으로 테스트되었다. 적절한 3D 정보 시각화 및 제스처, 응시 및 음성 제어와 같은 상호 작용 기술의 디자인에 중점을 두었다. 사용성, 사용자 경험 및 편안함 문제를 고려한 테스트에는 5명의 항공기 정비공이 참여했다.
각 AR 스마트 글래스에 대한 전용 인터랙션 개념
"개념 개발에는 도메인 전문가의 지식 고려, 작업장에서 테스트 담당자가 취한 접근 방식 분석, 개인 장비 및 AR 스마트 안경과의 호환성 확인, 고유한 상호 작용 개발과 같은 많은 측면이 포함되었다. 사용, 구성 및 디자인 범주의 다양한 요구 사항을 기반으로 각 안경에 대한 개념을 적용한다.
이 개념은 또한 매우 대조적인 적용 영역에 적용되었다. 첫 번째는 광범위한 제스처 상호 작용이 제한되고 가능한 음성 인식에 영향을 미치는 소음 수준이 증가한 조종석이었다. 또한 작업장 환경에 대한 개념이 생성되었다. 제어된 조명으로 물체의 자동 감지에 매우 적합했다.
"우리는 기존 규정을 확장하고 3D로 구현했으며 가상으로 표시된 구성 요소에서 특정 단계를 직접 시각화 하는 애니메이션으로 보완했다. 예를 들어 배터리 저항을 측정하거나 조종석 모델에 대한 특수 표기가 될 수 있다."고 연구원은 말한다.
작업장에서 유도 저항 측정으로 배터리 테스트를 수행했다. 이미지출처: © 프라운호퍼 FKIE
매우 다양한 상호 작용 요소
팀은 사용자가 문제의 작업 또는 특정 환경 변수에 의해 부과된 제약과 독립적으로 상호 작용할 수 있도록 하는 다중 모드 입력 기술에 의존했다. 이를 위해 시선과 제스처 제어를 통해 조작할 수 있는 다양한 상호 작용 요소가 설계되었다. 시선 제어를 사용할 때 원치 않는 입력을 피하기 위해 다양한 접근 방식을 고려했다.
결국 인터랙션 요소를 잠깐 응시함으로써 인풋을 구현하기로 결정했다. 표시기(진행률 표시줄과 유사)가 채워져 요소를 트리거하기 위해 사용자가 요소를 얼마나 오래 바라봐야 하는지 보여준다. 또는 사용자가 집게 손가락으로 눌러 상호 작용 요소를 활성화할 수 있다.
스마트 안경과의 직관적인 상호 작용
전반적으로 상호 작용은 피험자에 의해 "직관적"인 것으로 평가되었다. 시선 제어는 칭찬을 받았으며 대부분의 테스터는 제스처 또는 음성 제어보다 선호했다. 배터리 유지 관리 중 관련 정보를 직접 오버레이하여 특정 구성 요소를 식별하는 데 도움이 되었다. 조립 작업의 추가 일러스트레이션에 사용된 애니메이션은 긍정적으로 평가되었다.
반면 제스처 컨트롤을 사용할 때는 불확실성이 있었다. 그 결과 연구팀은 데모 응용 프로그램 외에도 애니메이션을 사용하여 사용자에게 기본 제스처 및 상호 작용 기술을 가르치는 학습 환경을 개발했다.
추가 옵션으로 원격 유지 관리
다음 단계는 작업 상태에 대한 문서와 메모를 기록하고 디지털화할 수 있는 것이다. 전문가를 부르는 것도 가능해야 한다. Mundt는 "우리는 주로 참가자 간의 상호 작용에 초점을 맞춘 원격 유지 관리 작업을 처리하고자 한다."라고 말한다. 연구원들은 분석된 사용 사례뿐만 아니라 다른 부문도 유지 보수 작업에 증강현실을 사용하여 이점을 얻을 수 있다는 점을 감안하여 더 많은 응용 분야를 조사하기를 원한다.
이 때문에 에너지 분야의 숙련공 부족은 어느 정도 메워질 수 있다. 예를 들어 AR은 3차원 단계별 지침이 유지 관리 작업을 통해 초보자를 안전하게 안내하기 때문에 경험이 적은 기술자에게 열 펌프 설치를 지원할 수 있다.
