메뉴바로가기본문바로가기

동아사이언스

빅데이터 지금보다 4배 빨리 처리한다

통합검색

빅데이터 지금보다 4배 빨리 처리한다

2019.05.21 10:24
DGIST 연구팀이 네트워크 통신 없이도 기존 방식보다 4배 빨리 빅데이터를 처리할 수 있는 기술을 개발했다. 게티이미지뱅크 제공
DGIST 연구팀이 네트워크 통신 없이도 기존 방식보다 4배 빨리 빅데이터를 처리할 수 있는 기술을 개발했다. 게티이미지뱅크 제공

국내 연구진이 방대한 데이터를 더 효율적이고 더 빠르게 처리할 수 있는 원천 기술을 개발했다. 

 

김민수 대구경북과학기술원(DGIST) 정보통신융합전공 교수와 남윤민 박사과정연구원팀이 21일 관계형 데이터 처리기술인 GPT기술을 개발했다고 밝혔다. 이 기술은 현재 처리속도가 가장 빠른 소프트웨어보다 4배가량 더 빨라 향후 빅데이터 등을 처리하는 데 활용할 수 있을 것으로 기대된다. 연구 결과는 국제학술지 '인포메이션사이언스' 4월호에 실렸다. 

 

관계형 데이터는 여러 산업분야에서 가장 많이 사용하는 데이터 형태다. 오늘날 그 규모가 커져 여러 대의 컴퓨터에 분산해 저장하거나 처리한다. 현재 관계형 데이터를 분산 처리하는 기술 중 가장 뛰어난 것은 '아파치 스파크 SQL’다. 하지만 이 기술로 데이터를 처리하려면 컴퓨터 여러 대를 네트워크로 연결해야 한다는 번거로움이 있었다. 

 

김민수 교수팀은 네트워크 통신 없이도 관계형 데이터를 처리하는 방식을 고민한 결과, GPT 기술을 개발했다. 이 기술은 데이터를 그래프 상의 점과 선의 관계로 모델링한다. 관계형 데이터를 구성하는 각 데이터 테이블을 정점으로, 테이블들 간의 관계를 선으로 설정한 다음, 허브 역할을 하는 데이터 테이블을 기준으로 나머지 데이터 테이블들을 수평 분할해 각 컴퓨터에 나눠 저장한다. 이 원리 덕분에 네트워크 통신 없이도 분산 처리가 가능하며, 데이터를 처리하는 속도도 아파치 스파크 SQL에 비해 약 4.2배나 더 빠르다.
 
김 교수는 “2010년대 초반, 빅데이터에 흥미를 갖고 시작한 연구가 방대한 양의 데이터를 처리하는 기술 연구로 이어지게 됐다”며 “이번에 개발한 GPT 기술을 이용해 점점 방대해지고 있는 빅데이터를 처리하는 데 매우 유용할 것"이라고 기대했다.  

 

김민수 대구경북과학기술원(DGIST) 정보통신융합전공 교수. DGIST 제공
김민수 대구경북과학기술원(DGIST) 정보통신융합전공 교수. DGIST 제공

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

6 + 2 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기

    관련 태그 뉴스