인공지능 기술 이용해 최초로 가속도계로부터 음성 합성

임창환 교수

한양대학교 바이오메디컬공학과 임창환 교수 연구팀이 입 주위에 부착한 가속도계 신호를 분석해 화자의 음성을 합성하는 무음 발화 인식 기술 개발에 성공했다고 19일 밝혔다. 무음 발화 인식은 목소리를 내지 않고 입을 움직이는 것만으로 발화 의도를 인식하는 기술로, 발성 장애를 겪는 환자들의 의사소통을 돕기 위해 개발되고 있다.

기존 무음 발화 인식 기술에는 카메라, 전자기조음측정기(EMA), 초음파, 근전도(EMG) 신호 등이 활용되었으나, 2023년 임 교수팀이 제안한 가속도계를 이용한 방식이 여러 장점으로 주목받고 있다. 임 교수팀은 입 주위에 부착한 4개의 가속도계 신호를 딥러닝으로 분석해 40개 단어를 95% 이상의 정확도로 분류하는 데 성공했으며, 이는 기존의 6개 근전도 센서를 이용한 방식보다 5% 이상 높은 정확도를 기록했다.

이번 연구에서 임 교수팀은 가속도계 신호만을 이용해 음성을 합성하는 기술을 구현했다. 입 주위 근육의 움직임을 바탕으로 음성을 합성하는 이 기술은 기존의 단어 분류보다 훨씬 난이도가 높은 과제다. 임 교수팀은 이화여대 성지은 교수와 협력해 한국어의 모든 음운을 포함하는 270개의 문장을 제작하고, 19명의 실험 참가자들로부터 음성 신호와 함께 5개의 가속도계 신호를 수집했다. 이 데이터를 기반으로 트랜스포머(transformer)를 변형한 딥러닝 모델인 컨포머(conformer)를 학습시켜, 가속도계 신호만으로 음성 신호를 합성하는 데 성공했다. 그 결과 대부분의 합성된 음성이 인식 가능한 수준으로 복원됐다.

임 교수팀의 연구 성과는 가속도계 신호를 통해 간접적으로 측정한 조음기관의 움직임 정보로부터 음성 신호를 복원할 수 있다는 가능성을 입증했다는 데 의미가 있다. 본 연구에서는 실험 참가자가 실제 발성을 하는 동안 측정한 가속도계 신호를 이용했지만 이후에는 참가자가 실제 발성을 하지 않고 입 모양만 흉내 낼 때에도 음성을 합성하는 연구를 진행할 예정이다.

임창환 교수는 “이번에 개발한 기술은 발성 장애인의 의사소통을 위한 실용적 기술로 발전시킬 계획”이라며 “웨어러블 형태의 무선 센서 시스템을 개발해 기술 상용화를 추진하고 있다”고 밝혔다.

이번 연구는 한국연구재단 중견연구자지원사업과 정보통신기획평가원의 한계도전R&D 프로젝트, 인공지능대학원지원사업의 지원을 받아 진행되었으며, 논문 「Speech synthesis from three-axis accelerometer signals using conformer-based deep neural network」는 수학 및 계산 생물학 분야 상위 3% 이내 국제 학술지인 Computers in Biology and Medicine 최신호에 게재됐다.