메뉴바로가기본문바로가기

동아사이언스

"아이유 목소리로 불러드릴게요"

통합검색

"아이유 목소리로 불러드릴게요"

2019.11.25 03:00
21일 오전 경기 수원 광교에 위치한 서울대 융합과학기술대학원 실험실에서 이주헌 연구원과 유예나 연구원이 이 연구원이 최근 연구 중인 자동 안무 생성 AI 기술에 대해 이야기하고 있다. 수원=윤신영 동아사이언스 기자
21일 오전 경기 수원 광교에 위치한 서울대 융합과학기술대학원 실험실에서 이주헌 연구원과 유예나 연구원이 이 연구원이 최근 연구 중인 자동 안무 생성 AI 기술에 대해 이야기하고 있다. 수원=윤신영 동아사이언스 기자

21일 경기도 수원 광교에 자리한 서울대융합과학기술대학원 한 실험실. 스피커에서 가수 BMK의 ‘꽃피는 봄이 오면’이 흘러나왔다. 그런데 목소리가 달랐다. 독특한 목소리와 창법으로 인기를 얻고 있는 실력파 가수 선우정아 씨의 목소리가 분명했다. 방송 프로그램에서 다른 가수의 곡을 부른 적이 워낙 많은 가수기에 그러려니 하는 순간, 이주헌 연구원이 예상치 못한 설명을 했다.

 

“선우정아 씨는 이 노래를 부른 적이 없습니다. BMK의 곡을 인공지능(AI)을 이용해 선우정아 씨의 목소리로 부르게 한 것이죠.”

 

이 노래만이 아니었다. 아이유의 ‘밤편지’는 박효신 씨 목소리로 재탄생했다. 반대로 박효신의 ‘야생화’는 아이유의 목소리로 바뀌었다. 퀸의 ‘보헤미안랩소디’를 고 김광석 씨 목소리와 창법으로 부르게 하기도 했다.

 

“’가창음성합성(SVS) 시스템’이라고 이름 붙인 연구용 AI입니다. 가사와 음의 높낮이(피치)를 입력하고 원하는 가수의 목소리를 넣으면 AI가 그 가수의 창법과 음색으로 노래를 바꿀 수 있지요.”


이 연구원이 자리를 옮겨 이번에는 모니터를 보여줬다. 화면에는 인체의 주요 큰 관절과 뼈를 직선으로 묘사한 그래픽 인간이 팔다리를 움직이며 춤을 추고 있었다. 춤과 관련이 적은 머리는 없었고, 섬세한 표현에 필요한 손가락은 다섯 손가락 모두 관절까지 묘사돼 있었다. 이 연구원은 “가수 청하의 ‘벌써 12시’의 안무를 추출한 그래픽”이라며 “유튜브 영상 100개에서 이런 식으로 안무를 추출해, 어떤 노래를 주더라도 자동으로 안무를 창작하는 AI를 만들었다”고 말했다.

 

LG전자와 함께 연구중인 이 기술은 안무가의 창작에 도움을 줄 수 있을 것으로 기대된다. 이 연구원은 “최근까지 가장 앞서서 논문을 내는 등 기술을 선도해 왔는데, 최근 엔비디아가 보다 높은 완성도를 갖는 안무 생성 AI인 ‘댄싱투뮤직’을 다음달 학회에서 공개할 예정으로 알려져 긴장하고 있다”고 말했다. 

 

이주헌 연구원이 연구 중인 안무 자동 생성 AI를 시연했다. 사진은 청하의 ′벌써 12시′의 영상에서 추출한 춤사위를 그래픽으로 표현한 모습이다. 수원=윤신영 동아사이언스 기자
이주헌 연구원이 연구 중인 안무 자동 생성 AI를 시연했다. 사진은 청하의 '벌써 12시'의 영상에서 추출한 춤사위를 그래픽으로 표현한 모습이다. 수원=윤신영 동아사이언스 기자

▲안무 자동 생성 AI로 창작한 안무를 영상 (이주헌 서울대 융합과학기술대학원 연구원 및 이교구 교수팀 개발) 

.

▲음악 프로젝트팀에서 만든 커버 음악의 안무 영상 (이주헌 서울대 융합과학기술대학원 연구원 및 이교구 교수팀 개발)

 

청각 AI의 약진이 최근 거세다. 2016년 ‘알파고 쇼크’ 이후 전세계적으로 딥러닝을 활용한 AI 기술 경쟁이 뜨겁지만, 사진이나 영상 등 시각 정보를 활용한 AI의 발전 속도에 주로 집중돼 왔다. 영상에서 동작 등 행동 정보를 얻은 뒤 이를 데이터화해 로봇 등의 동작에 적용하는 연구가 널리 이뤄지고, 실존하는 사람이 실제로 촬영한 적 없는 영상을 감쪽같이 합성하는 ‘딥페이크’ 같은 기술까지 나왔다. 세상에 존재하지 않는 사람의 얼굴 사진을 대거 만들어내는 AI도 있다.

 

반면 청각 AI는 음성명령 등 실생활에 응용될 분야가 많음에도, 그동안 ‘화려한’ 시각 AI에 비해 상대적으로 주목을 덜 받아왔다. 하지만 최근 대학과 기업이 좋은 연구 성과를 내고 스타트업이 출현하며 AI 분야의 새 트렌드를 만들고 있다.

 

가장 친숙한 대표 청각 AI는 음을 인식 및 합성 분야다. 인식은 AI 스피커의 등장과 함께 널리 알려졌다. 합성은 성우의 목소리를 촘촘히 이어 실제 말과 비슷하게 재생하는 기존의 음성합성기술(TTS)을 대체할 기술로 주목 받고 있다. 실제 성우의 녹음 없이도 목소리를 만들고, 표현력도 더할 수 있는 게 장점이다. 네이버 클로바는 400개 문장(40분 분량)의 녹음만으로 사람에 가까운 고품질의 음성을 합성할 수 있는 NES를 14일 공개했다. 읽으면서 기쁨이나 슬픔 등 감정까지 반영시킬 수 있다. 김재민 네이버 클로바 보이스 책임리더는 “기본 감정 외에 엄격한 뉴스 앵커 목소리, 부드러운 친구 목소리 등 다양한 감정과 스타일으로 확대할 것”이라고 말했다. 이 분야에서는 네오사피엔스 등 스타트업도 최근 등장해 활약하고 있다.

 

음향 연구도 최근 조금씩 결과를 내고 있다. 주로 외부에서 들리는 소음 등을 포착하고 해석하는 데 AI를 활용한다. 이 연구원은 “예를 들어 자동차에서 음성명령을 많이 활용하는데, 명령을 내리는 순간 구급자라도 지나가면 인식률이 급격히 떨어진다”며 “이를 감지해 인식률을 높이는 분야가 최근 활발히 연구되고 있다”고 말했다. 이 연구원과 같은 연구실 출신 연구자들은 최근 ‘코클리어닷에이아이’라는 스타트업을 만들어 각종 환경소음을 사람처럼 듣는 AI 기술을 개발하고 있다.

 

21일 오전 경기 수원 광교에 위치한 서울대 융합과학기술대학원 실험실에서 이주헌 연구원이 연구실의 전자기타를 매고 포즈를 취했다. 안무 자동 생성 AI와 노래 합성 AI를 연구 중인 이 연구원은 ″연구는 모두 컴퓨터로 해서 정작 악기와는 친하지 않다″며 멋쩍게 웃었다. 수원=윤신영 동아사이언스 기자
21일 오전 경기 수원 광교에 위치한 서울대 융합과학기술대학원 실험실에서 이주헌 연구원이 연구실의 전자기타를 매고 포즈를 취했다. 안무 자동 생성 AI와 노래 합성 AI를 연구 중인 이 연구원은 "연구는 모두 컴퓨터로 해서 정작 악기와는 친하지 않다"며 멋쩍게 웃었다. 수원=윤신영 동아사이언스 기자

공장이나 가전제품에서 고장이 났을 때 오직 소리만으로 문제를 진단하는 기술도 연구되고 있다. 이 연구원은 “세탁기 이상 시 소음만 듣고 어떤 부품이 고장났는지 95% 이상의 정확도로 진단하는 기술을 개발했다”며 “가정용 AI스피커에 기능을 탑재해 진단을 하게 할 수 있을 것”이라고 말했다.


다양한 청각 AI를 연구하고 있지만 이 연구원이 가장 주목하는 것이 ‘노래’다. 대표적인 게 바로 선우정아나 아이유의 목소리로 노래를 합성한 SVS다. 


결코 쉽지 않았다. 이 연구원은 “음은 잘 맞추는데 가사가 옹알이처럼 들리는 이상한 문제가 있었다”며 새로운 아이디어로 최근 돌파구를 얻었다”고 말했다. ‘발상의 전환’은 인체 구조였다. 사람은 성대에서 음을 만들고 입모양으로 발음을 조절한다. 하지만 기존의 AI는 음 높이와 가사(발음)을 동시에 처리했다. 이 둘을 구분해 순차적으로 처리하게 하자 또렷한 발음으로 노래를 부르게 하는 AI를 만들 수 있었다. 여기에 가수의 목소리 정보를 추가해 원하는 다른 목소리와 창법으로 노래를 부르는 SVS를 만든 것이다. 여기에 최근 각광 받는 새로운 신경망을 활용해 그간 잘 만들지 못하던 고음 영역까지 깨끗하게 들리는 새로운 SVS를 개발했다. 이 연구원과 지도교수 이교구 서울대 융합과학기술대학원 교수는 이 기술을 바탕으로 스타트업 창업도 최근 진행 중이다.

 

그 외에 한두 마디의 노래를 입력하면 AI가 자동으로 나머지 부분을 작곡하는 기술도 있다. 최근 동영상 제작이 활발해지며 무료 음원을 찾는 사람이 많은데, 이 방식을 이용하면 저작권 걱정 없이 음원을 활용할 수 있을 것으로 기대된다.


시각 AI에서는 최근 본인의 동의를 얻지 않은 채 다른 영상에 연예인의 얼굴을 합성한 딥페이크 영상이 사회 문제로 떠오르기도 했다. 혹시 노래에도 이런 문제는 없을까. 이 연구원은 “아직은 연구용 수준이라 큰 문제가 없었지만 미리 관련 문제를 고민하고 있다”며 “아무리 감쪽같더라도 진짜 사람의 목소리와 합성한 목소리를 데이터로 구분할 수 있는 진단 알고리즘과 워터마크 기술이 현재 전문가 사이에서 함께 연구되고 있다”고 말했다.
 

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

3 + 4 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기

    관련 태그 뉴스