메뉴바로가기본문바로가기

동아사이언스

인공위성 영상 빅데이터, 70배 빨리 분석한다

통합검색

인공위성 영상 빅데이터, 70배 빨리 분석한다

2016.05.16 18:00

 

한국과학기술정보연구원(KISTI)이 개발한 빅데이터 분석 시스템 ‘투픽스(TuPiX)’를 활용한 한반도 연안 유해 적조 발생 예보 모델. - (주)동아사이언스 제공

한국과학기술정보연구원(KISTI)이 개발한 빅데이터 분석 시스템 ‘투픽스(TuPiX)’를 활용한 한반도 연안 유해 적조 발생 예보 모델. - KISTI 제공

 

인공위성 영상 자료처럼 방대한 양의 연구 데이터는 데이터 적재 시간이 많이 걸려 분석하는 데 많은 시간이 필요하다. 이런 가운데 최근 국내 연구진이 기존보다 70배 빨리 분석할 수 있는 기술을 개발했다.

 

박경석 한국과학기술정보연구원(KISTI) 과학데이터기술연구실장 팀은 ‘데이터베이스 관리 시스템(DBMS)’, 빅데이터 처리 프레임워크 ‘하둡(Hadoop)’ 등 기존의 데이터 분석 시스템보다 약 70배 빠른 다차원 빅데이터 분석 기술을 개발하는 데 성공했다고 16일 밝혔다.

 

연구진이 개발한 빅데이터 분석 시스템인 ‘투픽스(TuPiX·Turning Pixels into Knowledge and Science)’는 데이터를 처리하고 분석하는 데 들어가는 시간을 획기적으로 줄였다.

 

연구진은 기존에 대용량 데이터를 병렬로 분산 처리할 때 필요했던 데이터 불러오기, 전처리, 재구성 등의 과정을 건너뛰고 바로 데이터에 직접 접근할 수 있도록 만들었다. 즉 데이터가 데이터베이스에 적재될 일이 없는 것이다.

 

또 다양한 분석 알고리즘을 활용해 불필요한 데이터는 미리 제거하도록 만들어 데이터 처리 성능도 높였다.

 

KISTI는 최근 위성 영상을 활용한 해양 연구 등 대용량 데이터 처리가 필요한 한국해양과학기술원과 극지연구소에 맞춤형 분석 기능과 가시화 기능을 추가한 ‘투픽스 오션 컬러(TuPiX Ocean Color)’ 시스템을 기술 이전했다. 현재 KISTI는 이 두 기관과 공동으로 투픽스 오션 컬러를 활용해 식물 플랑크톤 번성 패턴 모델과 한반도 연안의 유해 적조 발생 예보 모델을 개발 중이다.

 

투픽스는 고가의 컴퓨팅 환경뿐만 아니라 개인용 PC 수준의 사양에도 적용할 수 있다. 박 실장은 “고성능 하드웨어를 도입하기 어려운 소규모 조직도 인프라 구축 비용을 크게 절감할 수 있어 다양한 분야에서 빅데이터 분석과 관련된 연구 생산성을 높이는 데 기여할 것으로 기대한다”고 말했다.

 

그는 또 “핵융합, 유전체 분석, 에너지, 지진 및 해일 등 과학 연구뿐만 아니라 계산 금융, 지리정보, 사회연결망 등 대규모의 계산과 데이터 관리가 필요한 다양한 응용 분야를 발굴해 빅데이터 분석 플랫폼을 확장시켜 나갈 계획”이라고 덧붙였다.

 

이 기사가 괜찮으셨나요? 메일로 더 많은 기사를 받아보세요!

댓글 0

15 + 7 = 새로고침
###
    과학기술과 관련된 분야에서 소개할 만한 재미있는 이야기, 고발 소재 등이 있으면 주저하지 마시고, 알려주세요. 제보하기

    관련 태그 뉴스