메뉴바로가기본문바로가기

동아사이언스

[글로벌프런티어]가상의 세상과 소통하는 공존현실이 뜬다

통합검색

[글로벌프런티어]가상의 세상과 소통하는 공존현실이 뜬다

2019.06.13 00:00
서울 한국과학기술연구원(KIST) 국제협력관 3층, 실감교류인체감응솔루션연구단 실험실에서 가상현실과 현실세계를 잇는 중요한 원천기술을 확보했다. 사진 남윤중
서울 한국과학기술연구원(KIST) 국제협력관 3층, 실감교류인체감응솔루션연구단 실험실에서 가상현실과 현실세계를 잇는 중요한 원천기술을 확보했다. 사진 남윤중

머리에 쓰는 헤드마운트디스플레이(HMD)를 통해 눈 앞에 펼쳐지는 영상은 그냥 현실 속 방의 모습이었다. 손에 쥔 도구를 이용해 '공'을 던지기 전까지는 그랬다. 공을 던지라는 명령을 내리자, 방 가운데 테이블 위로 그래픽으로 만들어진 공이 날아갔다. 가상의 공은 실제 테이블 위로 떨어지더니 구르고 튀어 테이블 아래에 떨어졌다. 분명 실제와 가상 영상이 혼합돼 있는데, 가상의 공과 실제 테이블이 만드는 조화가 제법 정교해 보기에 전혀 어색함이 없었다.

 

'그럴 듯 한데?'라는 생각이 드는 순간, 사람이 옆에서 등장했다. 현실 세계의 실제 사람이 테이블 끝에 상자를 놓았다. 다시 공을 던지자, 이번에는 공이 구르다 상자에 막혀 테이블 구석에 쌓이기 시작했다. 현실 세계의 변화를 그대로 반영한 움직임이었다. 상자를 치우자 둑을 무너뜨린 강에서 물이 쏟아지듯, 공이 와르르 무너져 바닥을 굴렀다.

 

인체감응실감교류솔루션연구단 연구원들이 자체개발한 ′공간 터치감 지원 핸드 모션캡쳐 외골격 장치′와 HMD를 착용한 채 시연을 하고 있다. 만들어 낸 가상공간에 현실 속 움직임이 절묘하게 결합하고, 여러 명이 같은 가상공간에서 협업도 할 수 있다는 게 특징이다. 사진 남윤중
인체감응실감교류솔루션연구단 연구원들이 자체개발한 '공간 터치감 지원 핸드 모션캡쳐 외골격 장치'와 HMD를 착용한 채 시연을 하고 있다. 만들어 낸 가상공간에 현실 속 움직임이 절묘하게 결합하고, 여러 명이 같은 가상공간에서 협업도 할 수 있다는 게 특징이다. 사진 남윤중

무척 자연스러운 이 영상은 실감교류인체감응솔루션연구단의 신기술인 ‘비디오 씨쓰루 HMD 및 공간정합기술’과 ‘3차원 공간 스캔 및 실감지도 작성 기술’을 통해 만든 혼합현실(MR)이다. 레이저를 레이더처럼 써서 주변 지형지물을 확인하는 3차원 스캐닝 기술인 ‘라이다(LIDAR)’를 사용해 가상공간을 만들고, 여기에 현실세계 영상을 정밀하게 결합시켜 ‘혼합현실(MR)’을 구현하는 기술이다. 1m 공간에서 오차가 픽셀 5개(2~3cm에 해당) 이내일 정도로 정교하다. 이를 위해 연구팀은 회전하는 라이다를 공간 천장에 설치해 360도 공간 정보를 읽고, 이를 라이다와 HMD 사이의 좌표계를 이용해 가상공간으로 정교하게 통합시켰다. 그 결과 실시간으로 환경 변화에 대응할 수 있는 실감나는 가상공간을 만들 수 있었다.

 

이 기술은 해외에서 먼저 진가를 알아봤다. 올해 7월 열리는 시그래프 2019에서 차세대 유망기술로 선정됐다. 지난해 연구단 다른 기술로 차세대 유망기술로 선정된 데 이어 2년 연속 선정이다. 유범재 실감교류인체감응솔루션연구단장은 “국내 기술이 이 회의에서 차세대 유망기술로 선정되는 것 자체가 희귀한 일”이라고 말했다.

 

 

 VR-AR의 미래 ‘공존현실’ 앞당길 기술들

 

실감교류인체감응솔루션연구단은 잡힐 듯 가까워 보이지만, 막상 원천기술은 세계적으로 부족한 고난도 기술을 연구한다. VR과 AR, 그리고 이들이 혼합된 혼합현실(MX) 기술의 정교함을 극대화하고, 이를 바탕으로 현실 속 사람이 가상현실 속에서 자연스럽게 활동과 교류를 할 수 있는 플랫폼을 개발한다.

 

여기까지만 들으면 최근 여기저기에서 연구 중인 VR이나 AR과 크게 다를 게 없을 것 같다. 하지만 근본적으로 다른 게 있다. 가상의 환경을 그냥 재현하는 데 그치지 않고, 그 안에 ‘나’의 아바타가 들어가 다른 사람이 만든 가상의 ‘나’ 아바타와 만나 말하고 만지며 교류할 수 있다는 점이다. 

 

쉽게 말하면 2009년 SF 영화 ‘아바타’나 2018년 스티븐 스필버그 감독의 영화 ‘레디 플레이어 원’ 속 인물들처럼 가상공간 안에서 다른 사람과 만나고 협력할 수 있다는 뜻이다. 레디 플레이어 원에서는 2045년 사람들이 HMD와 감각슈트를 입고 가상세계인 오아시스에서 생활과 게임을 즐기는데, 여기에 나오는 기술을 포함해 상상 가능한 모든 가상 관련 원천기술을 종합적으로 연구하고 있다.

 

실감교류인체감응솔루션연구단의 XR(VR과 AR, MR을 함께 부르는 말)은 서로 다른 사람들이 한 데 모이는 SNS 같은 가상공간을 제공하고, 여기에 사용자를 재현한 일종의 ‘아바타’가 그대로 들어가 활동할 수 있다. 단순히 대화를 하거나 패턴화된 표정을 보여주는 정도가 아니라, 물건을 함께 들거나 건네주고, 함께 탑을 쌓는 등 말 그대로 ‘협력’이 가능하다.

 

유 단장은 “XR을 통해 여러 사람이 모이고 공부하고 놀 수 있다”며 “기존과 구분되는 의미에서 공간은 ‘공존현실’로, 그 안에서 이뤄지는 활동은 ‘실감교류’라고 부른다”고 설명했다. 영화 ‘킹스맨’에서 빈 테이블에 세계 각국에 흩어진 킹스맨들을 영상으로 참석시켜 단순히 화상 대화를 나누는 것보다 실감나게 회의를 하는 대목이 등장하는데, 공존현실과 실감교류가 바로 다른 사람과 보다 가깝고 현실감 있게 교류하도록 돕는 기술이다.


완성도 높은 공존현실 원천기술 다양하게 완성

 

고속 실감 3D 아바타 생성 시스템을 통해 만들어진 아바타의 모습. 실감교류인체감응솔루션연구단 제공
고속 실감 3D 아바타 생성 시스템을 통해 만들어진 아바타의 모습. 실감교류인체감응솔루션연구단 제공

연구단은 VR, AR이라는 용어조차 생소하던 2010년부터 공존현실을 연구해 왔다. 아직 제대로 된 HMD조차 없어 VR이나 AR이 이론적으로만 논의되던 시절부터 한 발 앞선 개념을 연구해 왔다. 만 9년을 맞는 올해, 목표로 했던 원천 기술을 상당수 확보했다. 19개 연구기관 209명의 인력이 낸 XR 분야 특허는 307건에 이르고, SCI급 논문은 248건 발표했다. 주요기술 22개를 국내 업체로 기술이전했고, 일부는 스타트업을 창업했다.

 

연구단의 연구 분야는 크게 세 축으로 나뉜다. 먼저 기술의 주인공이라고 할 수 있는 ‘가상 공간’을 만드는 기술이다. 환경을 그대로 정밀하게 읽어 실감나는 VR과 AR용 공간을 만든다. 이 과정의 수준을 한 차원 끌어올렸을 뿐만 아니라, 인물까지 상당히 실감나고 호감 가게 재현한다는 평을 받고 있다.

 

실제 사례를 영상으로 보니 이해가 갔다. 연구단은 서울 강남구 코엑스 등 방대한 실내 공간을 이 기술로 읽어 가상공간으로 재현했다. 레이저를 레이더처럼 발사해 레이저의 반사 정보를 바탕으로 공간 정보를 얻는 라이다(LIDAR) 기술을 성인보다 빠르게 움직이는 자율주행 로봇에 적용해 실내 공간을 재현했다. 연구팀은 여기에 광학 카메라로 촬영한 실제 영상을 덧입혀 대단히 실감나는 가상공간을 재현했다. 영화관 포스터까지 그대로 재현된, 사진으로 착각할 뻔한 공간이었다.

 

더 놀라운 건 다음이었다. 단순히 보기에만 그럴 듯 한 게 아니었다. 앞으로 걸어가면 거기에 맞춰 공간도 움직였다. 영상은 보기에만 그럴듯한 ‘그림’이 아니라, 실제로 공간을 3차원으로 상세히 재구성한 일종의 가상 건축물이었던 것이다. 그것도 엉성함이 전혀 없는, 세밀하고 세련된 건축물 말이다. 초등학교 교실 73개 크기인 약 5000m2 정도의 건물 한 층은 1~2시간이면 전체 공간을 스캔할 수 있어 실용성도 높다. 연구책임자인 도락주 고려대 전기전자공학부 교수는 “언제 어디에서나 보고 싶은 지점에서 완벽한 3D(Full 3D)로 가상 공간을 볼 수 있는 세계 최초의 원천기술”이라며 “실제로 그 장소에서 할 수 있는 모든 경험이 가능할 정도로 실제로 똑 같은 지도를 만들 수 있다”고 말했다.

 

도 교수는 이 기술로 기술 스타트업 ‘티랩스’를 창업하고 미국과 일본 등 주요국에 40여 개 특허를 출원했다. 연구팀은 다양한 웨어러블 기기와 결합하는 방법 등을 추가 연구 중이다. 유 단장은 “사이버 박물관이나 아파트 모델하우스 등에 응용하는 방법을 생각해 볼 수 있다”며 “다양한 응용처를 찾는 중”이라고 말했다.


개인의 아바타를 순식간에 만들어주는 3D 아바타 고속 모델링 및 실시간 동작 생성 기술도 놀라웠다. 눈과 치아를 비롯한 얼굴과 손가락 등의 특징을 고스란히 지닌 분신을 1분 이내에 만들어냈다. 얼굴과 체형 등이 상당히 비슷해 금세 누구의 아바타인지 알 수 있을 정도였다. 여기에 자동으로 동작을 만들어주는 기능도 있어 자연스러운 동작이 저절로 생성됐다.

 

인체 정확하고 빠르게 측정해 아바타 만든다

 

김정규 실감교류인체감응솔루션연구단 연구원이 자체개발한 골무 모양의 도구와 HMD를 착용하고 허공에 그림을 그리고 있다. 손끝을 정확히 인식해 입체 그림으로 보여준다. 사진 남윤중
김정규 실감교류인체감응솔루션연구단 연구원이 자체개발한 골무 모양의 도구와 HMD를 착용하고 허공에 그림을 그리고 있다. 손끝을 정확히 인식해 입체 그림으로 보여준다. 사진 남윤중

두 번째는 사용자의 움직임을 세밀하게 읽어 들이는 기술이다. 17일 오전, 서울 한국과학기술연구원(KIST) 국제협력관 3층, 실감교류인체감응솔루션연구단 실험실에서 이 기술의 아주 기초적인 형태를 확인했다. 연구단의 김정규 연구원이 손에 작은 골무 모양의 장치를 끼우고 벽 하나를 가득 채운 스크린 앞에 섰다. 지문이 있는 쪽이 도톰하게 손가락을 감싸는 형태였다. 들어보니 무게감이 거의 느껴지지 않고 손에 착 감기는 기분이 들었다. 온 몸의 감각이 저절로 손끝에 집중됐다.


김 연구원이 헤드마운트디스플레이(HMD)를 쓰더니 허공에 손가락을 움직였다. 스크린에 연구원의 그림이 그려지기 시작했다. 가상의 3차원 공간에 손 끝 궤적을 따라 그려진 가상의 입체 그림이었다.


실감교류인체감응솔루션연구단이 개발한 ‘아티스트 오브 더 퓨쳐(미래의 예술가)’라는 프로그램이다. 천장 네 귀퉁이에 설치된 카메라로 3차원 공간 상의 손끝 위치를 정확히 측정하고, 이를 가상의 공간에 재현해 허공 속의 그림으로 보여주는 기술이 들어 있다. 거추장스러운 기계를 착용하지 않고 가벼운 골무 모양 기기를 이용해 동작을 직관적으로 입력할 수 있어 어린이도 즐길 수 있다. 현재 어린이 직업체험프로그램 ‘잡월드’에 설치돼 많은 사랑 받고 있다.


이 기술은 실감교류인체감응솔루션연구단이 개발한 수많은 기술 가운데 가장 간단하고 친숙한 기술이다. HMD를 통해 보여주는 화면과 손 끝 움직임이 가상공간과 자연스럽게 일치해 몰입감이 높다. 손 동작과 가상 공간 속 움직임이 일치하지 않으면 자신이 그림을 그린다는 감각을 느낄 수 없고, 흥미와 몰입감이 크게 떨어진다. 연구단은 실용적인 장치를 개발해 이 문제를 훌쩍 해결했다.

 

공간 터치감 지원 핸드 모션캡처 외골격 장치. 연구단이 자체개발한 이 장치는 손가락의 움직임을 따라 외골격 관절이 움직이며 위치 데이터를 계산한다. 관절각을 실시간으로 읽어 동작의 정확성을 높였다. 실감교류인체감응솔루션연구단 제공
공간 터치감 지원 핸드 모션캡처 외골격 장치. 연구단이 자체개발한 이 장치는 손가락의 움직임을 따라 외골격 관절이 움직이며 위치 데이터를 계산한다. 관절각을 실시간으로 읽어 동작의 정확성을 높였다. 실감교류인체감응솔루션연구단 제공

영화 ‘마이너리티 리포트’의 유명한 장면인 허공 위에 정보를 띄우고 다루는 장면을 보면, 손으로 정보를 골라 버튼을 누르듯 선택하거나 다른 곳으로 치우는 장면이 나온다. 대상에 닿았을 때의 반응감을 느낄 수 없다면 허공에서 손이 허우적거려 제대로 명령을 내리기 어렵다. 이런 현상을 막기 위해 최근에는 무엇인가를 누르는 느낌을 주는 햅틱 기술을 추가해 터치감을 느끼게 하기도 한다. 


연구단은 이 분야도 세계 최고 수준의 기술력을 자랑한다. 대표 기술 가운데 하나인 ‘공간 터치감 지원 핸드 모션캡쳐 외골격 장치’는 협동에 중요한 기관인 손 동작을 읽어 가상공간에 재현해 주는 기술이다. 엄지와 검지, 중지 등 손가락 세 개의 손 끝 위치와 관절각을 실시간으로 읽는데, 이를 통해 재현하는 동작의 정확성을 높였다.


더구나 착용하기 거북할 정도로 거추장스럽지 않아 사용하기도 편리하다. 가상공간에서 대상 물체를 건드리면 진동 액추에이터를 통해 진동을 느끼게 해 실감을 높였다. 이 기술 역시 ‘시그래프 2018’에서 ‘차세대 유망기술’로 선정됐다. 같은 연구단의 기술이 두 해 연속 기술이 선정된 것이다. 연구단은 그 외에 터치감까지 느낄 수 있지만 착용에 전혀 부담이 없도록 작은 반지 모양으로 개발한 장치도 선보인 상태다. 


마지막은 이렇게 만든 가상 환경(공존공간)과 실감 정보를 접목해 실감나게 교류하도록 만드는 기술이다. 처음 소개한 비디오 씨쓰루 HMD 및 공간정합기술이 대표다. 이런 기술을 통합한 플랫폼에서, 연구단은 흥미로운 사례를 많이 개발했다. 젠가 게임을 할 수 있는 기기는 물론, 여러 사람이 각각 가상의 블록을 협력해 쌓을 수 있는 프로그램도 선보였다. 두 사람이 HMD를 착용하고 동일한 가상의 공간에 들어온 뒤, 손으로 가상의 블록을 쥐고 쌓는 모습은 경이로웠다. 같이 협동해 탑을 쌓는가 싶더니, 한 명이 변덕을 부려 탑을 무너뜨리자 함께 쌓은 탑이 와르르 무너지는 모습까지 생생히 재현됐다. 함께 체스를 두며 체스 말을 서로 주거니 받거니 하는 모습도 흥미로웠다. 공동으로 물체를 다뤄야 하는 원격 협동 작업 등에 응용할 수 있을 것으로 연구팀은 기대하고 있다.


유 단장은 9년 동안 이 분야 원천기술을 다수 확보했다고 보고, 이후 상용화에 주력할 계획이다. 그는 특히 원격 협업에 큰 기대를 걸고 있다. 게임은 물론 미래 직업체험 등 교육에 활용할 수 있기 때문이다. 한 대학 병원에서는 세포배양 기술을 가르치는 데 활용할 수 있을 것이라고 제안을 해오기도 했다. 유 단장은 “인구가 줄어 폐교가 속출하는 지역의 학교에 원격 협업 기술을 이용한 교실을 설치해 학생들이 먼 학교에 가지 않고도 공부할 수 있게 하는 아이디어도 있다”며 “5G 시대를 선도할 콘텐츠가 부족한 현실에서 미래 신산업을 창출할 좋은 기회를 열 것이라고 믿는다”고 말했다.

 

● “함께 모여 고민하고 일하고 배우는 새로운 공간 만들고파”

 

유범재 실감교류인체감응솔루션연구단장. 사진 남윤중
유범재 실감교류인체감응솔루션연구단장. 사진 남윤중

“스마트폰을 떠올려 보세요. 그냥 전화면 인기가 없었을 겁니다. 여기에 인터넷이 연결되고, 여러 사람이 함께 들어오는 사회관계망서비스(SNS)가 들어오면서 폭발적인 인기를 얻었습니다. 차이는 혼자 하느냐, 다른 사람과 함께 하느냐입니다. 가상현실(VR)과 증강현실(AR)도 마찬가지입니다. 혼자 하면 한두 번은 재미있겠지만 금세 흥미가 떨어질 것입니다. 저희는 이런 공간에 여러 사람이 모여서 놀고 공부하고 협동해 일할 수 있는 ‘공존현실’과 ‘실감교류확장공간’을 제안했습니다.”


유범재 실감교류인체감응솔루션연구단장은 처음 연구단을 꾸리게 된 계기를 묻는 질문에 이렇게 말했다. “9년이 지난 지금, 여러 사람이 블록을 쌓고 무너뜨리는 게임을 하거나 함께 공동 작업을 하는 시스템이 거부감 없이 매끄럽게 동작하는 것을 보면, 그래도 처음 꿈꿨던 내용을 상당히 달성했다는 생각이 듭니다.”


유 단장이 보여주는 주요 기술 일람표에는 실제로 연구단이 자체 조사한 해외 최고 기술과의 격차가 표시돼 있었다. 대부분 100%를 초과 달성했다. 현실 세계를 정밀하게 증강해 혼합현실로 구현한 비디오 씨쓰루 HMD 및 공간정합기술, 3차원 공간 스캔 및 실감지도 작성기술 등 대표기술은 대부분 세계 어디에도 없는 수준을 보여주고 있었다. 기술은 두어 해 전에 비해서도 월등히 좋아졌다. HMD를 통해 보는 영상도 자연스럽고 빨라 어지러움도 없었다. 이제 처음으로 VR을 이용한 SNS 서비스가 SF 가 아닌 현실에서 등장할 준비가 돼 보였다.


유 단장은 “초기에는 쉽지 않았다”고 말했다. 아이디어는 있었지만, 이를 구현할 제대로 된 기술 자체가 당시엔 없었다. VR, AR을 구현하려면 기본적으로 헤드마운트디스플레이(HMD)라는 장치를 머리에 써야 한다. 당시에는 이 장비조차 쓸만한 게 없었다. 가장 기초적인 하드웨어부터 차근차근 만들어 가야 하는 상황이었다. 센서 기술, 몸에 착용해 동작을 읽고 이를 가상 세계에 결합하는 기술 등 모든 게 도전과제였다.
 

 

다행히, 유 단장은 이름난 로봇 전문가였다. 한국과학기술연구원(KIST)에서 인지로봇연구단장을 맡아 인간과 교류하고 감응할 수 있는 휴머노이드(인간형) 로봇을 개발해 왔다. 2005년 일찍이 개발한 인간형로봇 ‘마루’를 개선해 음악에 맞춰 춤을 추게 하거나, 물건을 집어 사람에게 전달하는 등 사람을 위한 ‘서비스’를 제공하도록 맞춤형으로 만들기도 했다. 전문가들은 그를 한국 로봇계의 대표 학자로 꼽는 데 주저함이 없었다.

 

유 단장은 이 때 개발한 경험과 기술력을 새로운 분야에 적용했다. “기본적으로, 저희 기술은 ‘웨어러블(입을 수 있는) 휴먼인터페이스’와 관련이 깊습니다. 로봇을 개발할 때 동원된 기술이 다 응용될 수 있죠. 단지 도움만 받은 게 아닙니다. 로봇 개발이라는 저만의 경험이 정체에 빠져 있던 VR, AR을 혁신시킬 수 있는 장기가 됐습니다.”

 

게다가, 그는 로봇 하드웨어만 만들던 연구자가 아니었다. 유 단장이 만들던 로봇에는 ‘인지로봇’이라는 말이 붙었다. 하드웨어의 성능을 극대화하기보다는, 인간과 교류하는 능력을 극대화해 사용자가 거부감 없이 로봇과 일상을 영유하게 하는 것을 더 큰 목표로 삼는 로봇이었다. 노인 등 약자도 친근하게 대하고 이용할 수 있고, 로봇과 사물, 사람이 네트워킹을 통해 자연스럽게 연결되는 세상을 꿈꿨다. 이 개념이 딱 지금의 실감교류인체감응솔루션의 목표로 이어졌다. 인간과 로봇의 공존이, 현실과 가상의 공존으로 바뀌었을 뿐이다.


9년의 연구로 전에 없던 원천기술이 많이 모였다. 그는 이 기술을 본격적으로 활용하고 상용화하기 위해 추가로 도전을 할 계획이다. 기술이 무르익으니 아이디어가 넘쳤다. “학생수가 줄어 폐교가 늘고 있습니다. 지역의 아이들은 먼 거리를 통학해야 합니다. 학교를 아예 문 닫는 대신 한 구석에 공존현실을 이용한 교실을 만들면 어떨까요. 멀리 있는 선생님과 동료를 가상공간에서 만나 함께 공부하면, 먼 거리를 통학하느라 고생하지 않아도 되지 않을까요? 자폐스펙트럼장애 등을 앓는 분들의 직업 교육을 할 때 활용할 수도 있습니다. 교실을 여럿 만들지 않아도 바리스타 수업, 공작 수업 등을 다 할 수 있습니다.” 그의 눈이 반짝 빛났다.

 

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

18 + 7 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기