악보 인식 시스템: 음악 기호를 인식할 수 있는 AI 도구

음악 기호를 인식할 수 있는 AI 도구를 개발하여 온라인 음악 교육을 개선하기 위한 한 가지 조치가 무선 및 모바일 컴퓨팅 국제 저널에 게재된 논문에 설명되어 있다.

중국 산시성 상뤄 대학 예술 아카데미의 팅 장의 연구는 디지털 음악 교육에서 오랫동안 존재해 온 문제를 해결한다. 이 문제는 플랫폼 제한으로 인해 악보를 인식하고 해석하는 능력이 종종 부족하다.

이 연구는 이미지 처리와 머신러닝이 온라인 학습자에게 어떻게 도움이 되어 음악 개념을 더 풍부하고 정확하게 파악할 수 있는지 보여준다.

장은 특정 자극에 반응하여 "발사"하는 생물학적 뉴런의 작동에서 영감을 받은 인공 신경망인 펄스 결합 신경망(PCNN)을 개발했다. 전통적으로 온라인 음악 교육은 악보의 단순화된 디지털 표현에 의존하여 학생들이 기호와 음악 구조의 복잡성을 이해하려고 할 때 중요한 지침을 제공하지 못했다.

PCNN 모델은 예를 들어 악보 이미지 내에서 음악 기호의 디지털 분할을 개선하는 데 중점을 둔다. 장은 시스템에 사선 스펙트럼 보정을 통합하여 이미지를 세그먼트로 분할하여 기호를 정확하게 구별할 수 있다. 이를 통해 기울어진 기호나 정렬 오류를 고려하여 왜곡된 악보 표현도 정확하게 분석할 수 있다.

이미지 인식 작업에 최적화된 합성곱 신경망(CNN)을 사용하면 시스템이 효율적이고 정확해져 최대 97%의 성공률을 달성할 수 있다.

학생들에게는 개선된 악보 인식 시스템이 튜터가 없는 경우에도 실시간으로 피드백을 제공할 수 있다. 이 시스템은 일반적으로 즉각적인 피드백이 가능한 대면 수업을 모방한다. 연구원들은 학생들의 피치와 리듬에 대한 이해도와 기초적인 음악 이론 개념 이해도가 눈에 띄게 향상되는 것을 확인했다.