DGIST 차세대 빅데이터 플랫폼 원천기술 개발 나서

암흑데이터 이용

김민수 DGIST 정보통신융합전공 교수

대구경북과학기술원(DGIST·총장 손상혁)이 유용한 정보로 활용하지 못했던 '암흑데이터'를 이용해 차세대 빅데이터 플랫폼 원천기술을 개발하고, 이를 국가과학기술 연구데이터 플랫폼에 적용하는 연구에 나선다.

DGIST는 '암흑데이터 극한활용 연구센터(과제책임자 김민수 교수·사진)'가 과학기술정보통신부와 한국연구재단이 주관하는 '2018년 선도연구센터지원사업 공학분야(ERC·Engineering Research Center)' 지정공모에 선정됐다고 지난 26일 밝혔다.

이번 사업에 선정된 DGIST는 2024년까지 국비 99억원, 시비 9억9천만원 등 총 사업비 109억원을 지원받는다.

전 세계 데이터의 90% 이상이라고 알려진 암흑데이터를 처리하기 위해서는 막대한 저장 비용과 데이터센터에서 부담하는 에너지 비용 등이 발생한다. 미국을 중심으로 한 정보통신 분야 강국에서는 암흑데이터 연구에 서둘러 나서고 있다.

'암흑데이터 극한활용 연구센터'는 암흑데이터의 대부분인 비정형 형태의 데이터를 수집, 저장, 관리, 처리해 필요한 정보를 분석·활용할 차세대 정보 플랫폼(이드 플랫폼) 원천기술을 개발할 계획이다.

특히 지금까지 불가능하다고 여겨진 대규모 데이터를 언제 어디서나 저장 및 공유하면서도 누구나 간편하게 분석, 활용할 수 있는 블록체인 기반의 탈중앙 분산 파일시스템, GPU(그래픽처리장치) 및 SSD(솔리드스테이트드라이브) 기반의 초고속 데이터 처리 기술, 엣지(edge) 컴퓨팅 등의 융합 기술도 연구한다.

아울러 데이터에 대한 메타 데이터와 이력 정보를 자동 추출 및 공유해 암흑데이터의 발생을 원천적으로 차단할 수 있는 인공지능, 블록체인, 지능형 분산 검색 기술도 개발할 예정이다.

이번 사업에는 주관기관인 DGIST와 서울대, 포스텍, 성균관대, 서울대병원, 한국과학기술정보연구원, 한국뇌연구원 등의 데이터베이스, 데이터마이닝, 인공지능, 컴퓨터 시스템, 네트워크, 의공학, 뇌과학, 계산과학 등 관련 분야 전문가 11명이 참여한다. 또 미국 IBM T.J. 왓슨연구소, 미국 MIT 등 세계적 연구기관 및 대학교와 공동연구도 진행한다.

DGIST 암흑데이터 극한활용 연구센터 개념도

김민수 DGIST 정보통신융합공학전공 교수는 "실제 10% 미만의 데이터만 활용하던 스몰데이터 시대에서 나머지 90% 이상의 암흑데이터까지 활용하는 진정한 빅데이터 시대로의 패러다임을 전환하는 기술을 선도적으로 연구개발 하겠다"고 했다.