21세기의 원유 빅데이터

 

 

■■■ 정의

데이터를 저장하는 시스템이 저렴해지고, 많은 데이터를 빠르게 처리하는 것이 가능해지면서

21세기의 원류로 불리는 빅데이터에 대한 많은 관심이 집중되고 있다.

 

2025년 전 세계의 데이터 생산량은 약 163zb 정도의 크기가 될 것으로 예측하고 있고,

2016년 생성된 16.1zb보다 약 10배정도 늘어난 규모라고 한다.

 

스마트폰과 모바일 인터넷 서비스 활성화에 따라 사용자의 데이터 이용이 폭발적으로 증가하면서

거대한 분량의 데이터를 사람과 비슷한 수준의 지식을 만들어 처리하는

기술로 점점 진보해나가고 있다.

 

빅데이터란? 단순히 큰 데이터가 아니라 부피가 크고, 변화의 속도가 빠르며,

데이터의 속성이 다양한 데이터를 지칭한다.

 

데이터를 어떻게 활용하느냐에 따라 이전에 미처 발견하지 못했던 수많은

새로운 가치를 창조해 낼 수 있는지에 따라서 기업의 흥망성쇠를 결정짓게 된다고 말해도 될 수 있다.

 

- 분석 기법 : 데이터 마이닝, 머신러닝, 인공지능, 통계

 

■■■ 3가지 특징

 

▣ 데이터 분량(volume)

표본 데이터가 많아야 정확도가 올라가는 것과 같이 분석하는

데이터의 크기가 일정 수준 이상이어야 의미 있는 데이터를 얻을 수 있다.

전체 데이터 중 선택하여 사용할 수 있는 데이터 기술에서 분량은

분석 결과에 대한 신뢰성으로 귀결이 되는 문제로

일반적으로 100테라바이트 이상의 데이터를 빅데이터라고 칭한다.

 

 

▣ 데이터의 변화 속도(velocity)

잘 가공된 데이터가 아닌 가공되지 않은 원시 데이터에서 가치를 찾는 것이다.

데이터의 계속적인 변화에 따라서 새로운 분석 방법과 새로운 가치 부여가

가능하기 때문에 빅데이터 분석의 좋은 예라 할 수 있다.

 

소셜 네트워크 서비스는 소통의 공간으로써 끊임없이 새로운 데이터를 생성해 내는 곳이다.

또한 데이터의 변화 속도가 빠르기 때문에 현재의 데이터를 포함할 가능성이 가장 높은 곳이다.

 

 

▣ 데이터의 다양성(variety)

생태계에서 종의 다양성이 생태계를 건강하게 하는 것과 같이 데이터의 다양성은

데이터가 만들어 내는 정보의 가치를 건강하게 만드는 것이다.

정보의 가치가 건강하다는 것은 사실에 가까운 정보와 사람들이 체감적으로 공감하는

내용은 데이터의 다양성을 의미한다.

 

 

■■■ 빅데이터 기술

빅데이터를 구성하고 있는 기술은 데이터를 수집, 저장, 분석, 시각화의 4가지 과정을 거친다.

 

 

- 실시간 분석의 경우 데이터 수집, 통합, 실시간 분석 처리, 시각화의 단계를 갖는다.

  이전의 분석 결과를 토대로 새롭게 생성된 데이터를 추가하는 방법이다.

 

 

- 일괄 분석방법은 데이터 수집, 저장, 일괄 분석, 시각화의 특징을 갖고 있다.

  전체를 재 분석하는 것으로 하루 정도의 소요 시간이 걸린다.

 

빅데이터의 또 다른 동향은 클라우드 기반으로한 빅데이터 처리 기술이다.

기업들이 가장 어려워하는 부분은 하부의 저장 시스템을 구축해야 한다는 것과

기하급수적으로 증가하는 시스템을 도입하기엔 경제적 가치를 두고 투자하기에 부담이 될 수도 있다.

 

 

■■■ 빅데이터 현황

 

▣ 세계의 시장 규모

- 구글트렌드(https://trends.google.com/)에 따르면 빅데이터의

구글 검색 관심도는 2012년 부터 점차 증가세를 보이다가

2016년에는 2004년 초반 0에 가까운 수치보다 100배나 늘었다고 한다.

 

세계경제포럼에서 '2021년 떠오르는 10대 기술' 중 하나로

빅데이터를 지목하면서 전 산업권에 걸쳐 빅데이터에 대한 관심은 꾸준히 증가하고 있으며,

글로벌 기업들의 투자로 시장 규모가 점차 확대되고 있는 추세이다.

 

이처럼 각국의 정부와 산업계가 빅데이터가 가진

잠재성에 주목하기 시작하면서 세계 시장은 매년 빠르게 성장하고 있다.

 

 

▣ 국내 시장 규모

국내 빅데이터 시장 역시 기업들의 빅데이터 분야에 대한 투자를 늘려 가고 있으며,

정부의 산업 지원 노력에 힘입어 꾸준한 성장세를 보이고 있다.

 

한국정보화진흥원의 '2016년 빅데이터 시장현황 조사'에 따르면

2016년 우리나라의 빅데이터 시장 규모는 전년대비 31.1% 성장한 3,439.6억원 이라고 했다.

 

국내 빅데이터 시장의 영역별 비중을 살펴보면 민간시장 71%,

정부와 공공시장 29%로 이루어져 있다.

아직까지는 민간영역에서 시장을 주도하고 있는 것으로 보인다.

 

 

■■■ 빅데이터의 사례

 

▣ 공공데이터

2013년 우리나라는 「공공데이터 제공 및 이용 활성화에 관한 법률」을 제정한

이후 공공데이터를 적극적으로 개방하려고 노력하고 있다.

 

2017년 OECD 공공데이터 개방 평가에서 1위를 자지하였고,

세계적으로 매우 높은 수준이라고 할 수 있다.

 

행정안전부는 공공기관이 생성 또는 취득하여 보유하고 있는

공공데이터를 한 곳에서 제공하는 통합창구로 공공데이터포털(https://www.data.go.kr)운영하고 있다.

 

공공데이터포털에서는 파일데이터, 오픈 API, 표준데이터,

시각화 등 다양한 유형으로 데이터를 제공하고 있고,

이런 데이터를 제공받고 싶을 경우 신청을 통해 심사를 걷친 후에 이용할 수 있다.

 

 

▣ 민간데이터

 

-네이버 데이터랩(DataLab)

민간기업이 보유하고 있는 데이터를 공개하고 있는

가장 대표적인 사례는 2016년 1월에 베타버전을 오픈한

네이버의 '데이터랩'을 들 수 있다.

 

현재 데이터랩에서는 분야별 인기 검색어, 검색어 트렌드, 지역별 관심도 등

다양한 정보를 제공하고 있다.

 

- SKT 빅데이터 허브(Big Data Hub)

2013년 10월에 오픈한 SKT 빅데이터 허브는

민간 소유의 빅데이터를 대중에게 개방한 국내 첫 사례이다.

 

SKT 빅데이터 허브는 SK텔레콤이 보유한 통신 데이터와

공공기관에서 공개한 데이터들을 주제별로 분류하여 제공하고 있다.

분류	제공 데이터
산업/경제	특허 실용신안 통합이력정보, 해외특허 서비스 등
문화/예술	외국인 가입자 시간대별 체류지 데이터, 국민관광 실태조사 등
정보통신/IT	월간 게임동향, 광고 집행금액 및 트래픽 리포트 등
사회/교육	지역별 콜택시 이용 분석, 유아교육기관 이용분석 데이터 등
공공/행정	웨더플래닛 기상정보, 전국 시내버스 노선정보   사회 약자 시간대별 체류지 데이터 등

 

- 민·관 데이터

매일 매순간 새롭게 엄청난 크기의 데이터들을

어떻게 잘 활용할 수 있느냐에 따라 가치 또한 무궁무진하다고 말할 수 있다.

 

과학기술 정보통신부와 질병관리본부는 KT가 가진 통신 데이터를 활용하여

해외 감염병의 유입을 예방하기 위한 빅데이터 융합사업을 추진하였다.

 

KT가 제안한 '로밍 빅데이터를 활용한 해외유입 감염병 차단' 서비스를 들 수 있다.

 

 

-서울시 '올빼미버스' 서비스 시행

2013년 서울시는 심야버스노선을 개발하고 시행하고 있다.

KT와 업무협약(MOU)을 맺고 휴대전화 통화이력 데이터에서 추출한

개인위치정보를 활용하여 야간의 안전 문제와 택시로 한정되어 있는

교통을 개선하기 위해 심야버스노선을 구축하였다.

 

■■■ 부작용

제일 먼저 떠오른 것은 개인 사생활 침해 논란이다.

개인들의 다양한 정보를 기반 데이터가 축적이 되기 때문이다.

 

대량의 개인정보가 수집 및 관리되므로 사업자의 고의 또는 과실에 의해

개인정보가 침해나 누설될 수 밖에 없다.

 

방송통신위원회의 '빅데이터 개인정보보호 가이드라인'이 마련되어 있지만,

이 또한 현행개인정보보호법에 위배될 수 있고,

인권 침해 가능성이 있다고 시민단체들은 말하고 있다.

 

빅데이터 분석을 통해서 나에게 맞는 정보를 얻기 위해서는

개인 정보 동의를 할 수 밖에 없기 때문에 사적인 정보가 노출될 수밖에 없고,

관련 서비스 업체는 상업적, 사회적으로 윤리적, 법적으로도

큰 문제가 발생하지 않는 수준의 빅데이터 활용과 개인의 사생활 보호을 위한 노력을 해야 할 것이다.

 

21세기 원유로 불리는 빅데이터를 잘 활용하기 위해서는

개인정보침해에 대한 대책을 잘 수립하여 새로운 핵심사업으로 발전시켜 나가길 바란다.