주메뉴바로가기.. 본문바로가기

사진도,사람 말도 잘 이해하는 AI기술 개발

카카오스토리 네이버밴드 구글플러스

2019년 01월 07일 16:10 프린트하기

두 가지 딥러닝 시스템 구조를 표현한 그림. 왼쪽은 파라미터 서버 방식으로 레이어 간 연결선이 적은 자연어 처리 등에 유리하다. 오른쪽은 AR 방식으로 레이어 간 연결선이 빼곡한 이미지 처리에 유리하다. 서울대 컴퓨터공학과 연구팀은 목적에 따라 이 두 가지 방식을 최적화해 사용하는 분산 학습 시스템 ′패럴랙스′를 개발했다. -사진 제공 아카이브 논문 캡쳐
두 가지 딥러닝 시스템 구조를 표현한 그림. 왼쪽은 파라미터 서버 방식으로 레이어 간 연결선이 적은 자연어 처리 등에 유리하다. 오른쪽은 AR 방식으로 레이어 간 연결선이 빼곡한 이미지 처리에 유리하다. 서울대 컴퓨터공학과 연구팀은 목적에 따라 이 두 가지 방식을 최적화해 사용하는 분산 학습 시스템 '패럴랙스'를 개발했다. -사진 제공 아카이브 논문 캡쳐

국내 연구팀이 학습 속도가 상대적으로 느리던 자연어 처리의 효율성을 크게 개선한 인공지능(AI) 학습 기술을  개발했다. 


서울대 컴퓨터공학부 전병곤 교수와 김수정·유경인 연구원 연구진은 이미지 처리처럼 빠른 학습 속도를 내던 분야의 효율은 그대로 유지한 채, 자연어 처리 속도를 추가로 최대 6배 개선한 새로운 딥러닝(기계확습) 분산 학습 시스템 ‘패럴랙스(Parallax)’를 개발했다.


딥러닝은 이미지 처리, 음성인식, 자율주행 등에 널리 활용되는 AI 기술로, 같은 딥러닝이라도 목적에 따라 학습 속도에 차이가 많이 난다. 김 연구원팀은 딥러닝 기술에서 학습이 완료되면 채워져야 할 값을 의미하는 ‘파라미터’가 얼마나 복잡하게 연결돼 있는지에서 원인을 찾았다. 딥러닝은 데이터를 여러 겹의 ‘층(레이어)’을 통과시키며 추상적으로 변환시켜 특징을 찾고 학습을 한다. 이때 각 레이어를 구성하는 파라미터들은 다른 레이어와 서로 연결돼 있는데, 빈 곳 없이 빼곡히 연결된 경우와 듬성듬성 연결된 경우로 크게 나뉜다.

 

김 연구원은 “이미지 처리를 할 때에는 모두 연결돼 있는 반면, 자연어를 처리할 때에는 어떤 단어를 쓰는지에 따라 연결이 계속 달라져서 모두 연결되지 않는다”고 설명했다.

 

자연어 처리 기술은 사람의 언어를 컴퓨터가 처리하고 그 결과물을 사람에 맞게 만들어내는 기술이다. 연구팀은 기존의 분산학습시스템은 이런 파라미터의 연결성 차이를 고려하지 않았다. 연결이 적은 경우를 고려하지 않아 자연어 처리의 학습 속도가 떨어졌다. 특히 최근에는 그래픽처리장치(GPU)를 이용해 병렬로 계산해 속도를 높이는데, 연결이 적은 경우에는 속도 향상이 별로 이뤄지지 않았다.

 

연구를 한 서울대 컴퓨터공학부 전병곤 교수팀. 아래 왼쪽부터 김수정 박사과정 연구원, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정. -사진 제공 서울대 공대
연구를 한 서울대 컴퓨터공학부 전병곤 교수팀. 아래 왼쪽부터 김수정 박사과정 연구원, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정. -사진 제공 서울대 공대

김 연구원팀은 분산학습을 하는 두 가지 서로 다른 방식을 상황에 맞게 각기 사용하는 하이브리드 방식을 통해 문제를 해결했다. 먼저 파라미터 관리 서버가 몇 개의 서버에 학습하고자 하는 레이어의 계산을 분산하고 할당하는 ‘파라미터 서버’ 방식과, 한 컴퓨터가 계산을 다 하고 이를 다른 컴퓨터에 보내고 받는 ‘AR’ 방식이다. 김 연구원은 “파라미터 서버 방식은 연결이 많이 되지 않은 딥러닝 모델에, AR 방식은 연결이 다 돼 있는 모델에 적합하다는 사실을 연구로 밝히고, 이를 목적에 따라 최적화해 사용할 수 있도록 패럴랙스를 개발했다”고 말했다.


‘파티셔닝’이라는 기술로 파라미터 서버 방식을 사용할 때 계산 할당량이 한 쪽에 몰리는 경우 반할해 처리하도록 해 효율성을 높였다. GPU와 컴퓨터 별로 데이터 크기를 미리 줄인 뒤 전송해 통신량을 줄여 속도를 높인 것이다.  연구팀은 이 방식을 모두 적용해 이미지 처리 속도는 그대로 유지하면서 자연어 처리 속도를 기존보다 최대 6배 높이는 데 성공했다. 


연구 결과는 3월 독일 드레스덴에서 열릴 시스템 분야 국제학회 ‘유로시스(EuroSys)’에서 발표될 예정이다. 이 시스템은 구글의 인공지능 도구인 ‘텐서플로’ 상에서 구현됐으며, 오픈소스로 누구나 이용할 수 있다.
 

카카오스토리 네이버밴드 구글플러스

2019년 01월 07일 16:10 프린트하기

 

혼자보기 아까운 기사
친구들에게 공유해 보세요

네이버밴드 구글플러스

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

2 + 8 = 새로고침
###
과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기

관련 태그뉴스