임창환 한양대 바이오메디컬공학과 교수팀이 가상현실(VR) 헤드셋을 착용한 채 실제 발성 없이 입모양만으로 사용자의 의도를 정확히 인식하는 신기술을 개발했다고, 한양대가 21일 밝혔다. 해당 기술은 후두절제나 성대결절 등으로 인해 정확한 발성이 힘든 사용자에게 도움을 줄 것으로 기대된다.

VR을 이용한 메타버스 서비스에 대한 대중의 관심이 높아지고 있다. 특히 VR 헤드셋의 가성비가 좋아지고 AI 스피커 등에서 사용되는 음성인식기술 접목으로 인해 사용자 편의성이 향상됨에 따라 VR 헤드셋의 보급률이 높아지고 있다.

하지만 VR 헤드셋에서 사용되는 기존 음성인식기술은 주변 소음의 영향으로 정확도가 낮아질 수 있고, 공공 도서관과 같은 조용한 환경에서는 쓰이기 어렵다는 한계가 있다. 또 후두절제나 성대결절 등으로 인해 크고 또렷한 목소리를 낼 수 없는 사람들은 음성 인식 기술을 활용하기 어려웠다.

임 교수팀은 이런 문제를 해결하고자 VR 헤드셋을 착용할 때 피부에 닿는 눈 아래 부위에 6개의 생체전극을 부착한 VR 헤드셋을 개발했다. 개발된 VR 헤드셋은 사용자가 실제로 말을 하지 않고 말하는 입모양을 흉내 냈을 때 전극에서 측정되는 안면 근전도(facial electromyogram) 신호를 실시간으로 분석, 사용자의 발화 의도를 알아내는 데 성공했다.

이처럼 안면 근전도를 이용해서 발화 의도를 인식하는 기술을 ‘무성 음성인식’이라 하는데, 기존의 무성 음성인식 연구들은 VR 적용을 고려하지 않았기 때문에 입 주변에 전극을 부착함으로써 높은 정확도를 얻을 수 있었다.

하지만 VR 헤드셋은 입에서부터 거리가 멀기 때문에 인식 정확도가 떨어질 수밖에 없는데, 임 교수팀은 이 문제를 새로운 데이터 증강기술이 적용된 딥러닝 알고리즘을 통해 해결했다.

임 교수팀은 VR 환경설정에 많이 쓰이는 6개의 명령어, ‘다음’, ‘이전’, ‘뒤로’, ‘메뉴’, ‘홈’, ‘선택’을 실시간으로 분류하는 시스템을 구현한 뒤, 20명의 피실험자를 대상으로 시스템의 인식률을 평가했다. 그 결과 평균 인식률 92.53%의 높은 정확도로 무성 발화를 인식할 수 있었다.

임 교수는 “사용자들이 우리 시스템에 익숙해지면서 인식률이 높아지는 현상을 관찰할 수 있었다”며 “기존 VR 헤드셋에 패드만 교체하는 방식으로 쉽게 적용할 수 있으며, 더 많은 명령어를 추가할 수도 있어 상용화에 용이할 것”이라고 말했다.

임 교수팀의 이번 연구 결과는 가상현실 분야의 최고 권위지인 「Virtual Reality」 지난 2일자에 게재됐다. 이번 연구는 삼성전자 미래기술육성센터, 한국연구재단 중견연구자지원사업, 정보통신기획평가원의 인공지능대학원지원사업의 지원을 받아 수행됐다.