광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

[머신러닝] 더 나은 사운드를 위해 머신러닝을 사용하는 무선 '클리어버드'는 화자의 목소리를 높이고 배경 소음을 줄인다. 클리어버드(Clearbuds)는 마이크 시스템과 실시간으로 작동하고 스마트폰에서 실행되는 최초의 머신러닝 시스템 중 하나를 사용한다. 연구원들은 코로나19 폐쇄 기간 동안 회의가 온라인으로 전환됨에 따라 작업을 수행하도록 영감을 받았으며 많은 사람들이 룸메이트, 쓰레기 수거차 및 기타 시끄러운 소리가 중요한 대화를 방해한다는 것을 발견했다.

https://www.futurity.org/wireless-earbuds-sound-machine-learning-2765702/

JM Kim | 기사입력 2022/07/18 [00:00]

[머신러닝] 더 나은 사운드를 위해 머신러닝을 사용하는 무선 '클리어버드'는 화자의 목소리를 높이고 배경 소음을 줄인다. 클리어버드(Clearbuds)는 마이크 시스템과 실시간으로 작동하고 스마트폰에서 실행되는 최초의 머신러닝 시스템 중 하나를 사용한다. 연구원들은 코로나19 폐쇄 기간 동안 회의가 온라인으로 전환됨에 따라 작업을 수행하도록 영감을 받았으며 많은 사람들이 룸메이트, 쓰레기 수거차 및 기타 시끄러운 소리가 중요한 대화를 방해한다는 것을 발견했다.

https://www.futurity.org/wireless-earbuds-sound-machine-learning-2765702/

JM Kim | 입력 : 2022/07/18 [00:00]

새로운 종류의 무선 이어버드인 "Clearbuds"는 화자의 목소리를 높이고 배경 소음을 줄인다고 연구원들이 보고한다.

 

클리어버드(Clearbuds)는 마이크 시스템과 실시간으로 작동하고 스마트폰에서 실행되는 최초의 머신러닝 시스템 중 하나를 사용한다. 연구원들은 코로나19 폐쇄 기간 동안 회의가 온라인으로 전환됨에 따라 작업을 수행하도록 영감을 받았으며 많은 사람들이 룸메이트, 쓰레기 수거차 및 기타 시끄러운 소리가 중요한 대화를 방해한다는 것을 발견했다.

 

ClearBuds는 두 가지 주요 면에서 다른 무선 이어버드와 차별화된다.

 

“첫째, ClearBuds는 듀얼 마이크 어레이를 사용한다. 각 이어버드의 마이크는 정보를 제공하고 더 높은 해상도로 다른 방향에서 나오는 소리를 공간적으로 분리할 수 있도록 하는 두 개의 동기화된 오디오 스트림을 생성한다. 둘째, 경량 신경망은 화자의 목소리를 더욱 향상시킨다.”

 

대부분의 상업용 이어버드에도 각 이어버드에 마이크가 있지만 한 번에 하나의 이어버드만 휴대폰으로 오디오를 전송한다. ClearBuds를 사용하면 각 이어버드가 오디오 스트림을 전화기로 보낸다연구원들은 이러한 스트림이 서로 70마이크로초 이내에 동기화될 수 있도록 블루투스 네트워킹 프로토콜을 설계했다.

 

 

팀의 신경망 알고리즘은 전화에서 실행되어 오디오 스트림을 처리한다. 먼저 음성이 아닌 소리를 억제한다. 그런 다음 양쪽 이어버드에서 동시에 들어오는 모든 소음(화자의 음성)을 분리하고 강화한다.

 

"화자의 목소리가 두 이어버드에서 가깝고 거의 같은 거리에 있기 때문에 신경망은 연설에만 집중하고 다른 목소리를 포함한 배경 소리를 제거하도록 훈련될 수 있다."고 공동 저자인 Ishan Chatterjee, Allen School의 박사 과정 학생은 말한다. “이 방법은 자신의 귀가 작동하는 방식과 매우 유사하다. 그들은 소리가 어느 방향에서 왔는지 결정하기 위해 왼쪽 귀와 오른쪽 귀로 오는 소리 사이의 시간 차이를 사용한다."

 

연구원들이 ClearBuds Apple AirPods Pro와 비교했을 때 ClearBuds가 더 나은 성능을 보여 모든 테스트에서 더 높은 신호 대 왜곡 비율을 달성했다.

 

"일반적으로 신경망을 실행하는 데 사용되는 대형 상용 그래픽 카드에 비해 컴퓨팅 성능이 매우 낮은 iPhone에서 신경망을 20밀리초 미만으로 실행해야 한다는 사실을 고려할 때 놀라운 일이다."라고 말한다. 공동 저자인 Vivek Jayaram Allen School의 박사 과정 학생이다. "그것은 우리가 이 백서에서 해결해야 하는 과제의 일부이다. 출력 품질을 유지하면서 기존 신경망을 어떻게 사용하고 크기를 줄일 수 있을까?"

 

팀은 또한 커피숍이나 번화한 거리와 같은 시끄러운 환경에서 Project Gutenberg에서 읽는 8명을 녹음하여 ClearBuds "야생에서" 테스트했다. 그런 다음 연구원들은 37명의 사람들에게 이 녹음의 10~60초 클립을 평가하게 했다. 참가자들은 ClearBuds의 신경망을 통해 처리된 클립이 최고의 소음 억제와 최고의 전반적인 청취 경험을 가진 것으로 평가했다.

 

ClearBuds의 한 가지 제한 사항은 사람들이 소음 억제 경험을 얻기 위해 양쪽 이어버드를 모두 착용해야 한다는 것이다.

 

그러나 여기에서 개발된 실시간 통신 시스템은 스마트 홈 스피커, 로봇 위치 추적 또는 수색 및 구조 임무를 포함하여 다양한 다른 응용 프로그램에 유용할 수 있다고 팀은 말한다.

 

팀은 현재 이어폰에서 실행할 수 있도록 신경망 알고리즘을 훨씬 더 효율적으로 만드는 작업을 하고 있다.

 

연구원들은 ACM International Conference on Mobile Systems, Applications, and Services에서 이 프로젝트를 발표했다.

 

국립과학재단(National Science Foundation)과 워싱턴 대학의 리얼리티 랩(Reality Lab)이 이 연구에 자금을 지원했다.

 

출처: 워싱턴 대학교

 
머신러닝, ML 관련기사목록
광고
광고
광고
광고
광고
광고
광고
많이 본 기사
챗GPT와 AI, 로봇 많이 본 기사
최신기사