빅데이터 뜻

빅데이터 란

빅데이터란, 날마다 생성되는 다양한 데이터군을 말합니다. 그 명확한 정의는 정해져 있지 않지만, 예를 들면 IC교통카드에 기록되는 승차 이력이나 GPS로부터 얻을 수 있는 위치 정보, 메일의 내용, SNS의 투고나 코멘트 등의 데이터가 대량으로 축적된 것을 빅 데이터라고 부를 수 있습니다.

빅데이터의 특징

빅 데이터에는 다음과 같은 세 가지 특징이 있습니다.

Volume(양)	방대한 용량을 갖고 있습니다. (기준: 수 테라바이트~수 페타바이트)
Variety(종류)	열과 행으로 표현되는 데이터뿐만 아니라 텍스트, 음성, 이미지, 동영상, 위치 정보 등 다양한 종류가 있습니다.
Velocity(속도)	발생 속도 및 빈도가 높고, 그 처리에도 속도가 요구됩니다.

빅데이터의 구성 유형

빅데이터는 일정한 형식이나 구조를 가지고 있는지 여부에 따라 다음 두 가지 유형으로 분류할 수 있습니다.

구조화 데이터	행과 열이 있는 2차원 테이블 형식의 데이터입니다. 또는 겉보기에 테이블 형식으로 변환할 수 있는 데이터입니다. 스프레드시트 소프트웨어 등으로 취급할 수 있어, 집계나 분석이 실시하기 쉽습니다.
비구조화 데이터	데이터에 규칙성이 없고 테이블 형식으로 변환하기 어려운 데이터 입니다. 텍스트뿐만 아니라 음성, 이미지 및 동영상과 같은 다양한 형식의 데이터가 포함됩니다. 그대로의 형태로는, 집계/해석하는 것이 어렵습니다.

빅데이터의 예

빅데이터의 예(구조화 데이터 예)

• 편의점이나 슈퍼 등의 POS 데이터(판매 정보)
• 고객 데이터 (이름, 주소, 신용 카드 정보, 기타 속성 등)
• 일별 재고 데이터
• 다양한 통계 데이터

이러한 구조화된 빅데이터는 일정한 표 형식으로 정리되어 있기 때문에 분석하기 쉽고, 빅데이터 중에서도 활용의 장애물은 낮다고 할 수 있습니다.

빅데이터 예(비구조화 데이터)

• 상품 및 서비스에 대한 웹/SNS 리뷰
• 감시 카메라의 동영상 데이터
• GPS 등에서 수집되는 위치 정보
• 디자인 데이터
• 기기 및 설비에 탑재된 센서에서 얻은 정보
• 기획서/견적서 등의 문서 데이터

이러한 데이터는 구조화되지 않은 빅 데이터의 예입니다. 그대로의 상태에서는 일정한 형식을 가지지 않기 때문에, 빅데이터 중에서도 분석의 허들은 높습니다만, 그 다양성으로부터 이 활용의 폭은 꽤 넓다고 말할 수 있습니다.

빅데이터가 보급된 배경

빅데이터의 활용이 주목되기 시작한 것은 2010년대 초반부터입니다.

데이터량의 폭발적인 증가

빅데이터의 활용이 보급되기 시작한 배경의 하나로 전 세계에서 다루어지는 데이터량의 폭발적인 증가가 있습니다. 빅데이터가 주목되기 시작한 시기 전후에는 데이터량의 증가로 이어지는 큰 변화가 몇 가지 있습니다. 2000년대 후반에는 스마트폰의 발매가 개시되어, 보급되어 가면서 Facebook, Twitter와 같은 SNS의 활용(=텍스트나 화상 데이터의 투고)도 활발해져 갔습니다. 게다가 2010년대 전반에는 이미지나 동영상 등의 데이터를 종래보다 원활하게 열람/업로드할 수 있게 되어, 화상/동영상 콘텐츠도 증가의 일도를 따릅니다. 이러한 정보통신단말이나 SNS의 보급도 영향을 받아 전 세계에서 다루어지는 디지털 데이터의 양은 해마다 늘어나고 2025년에는 175ZB(175조GB)에 이를 것으로 예측되고 있습니다.

기술 발전

데이터를 수집/축적/분석하기 위한 기술의 발전도 빅데이터가 활용되게 된 배경 중 하나입니다. 앞서 디지털 데이터의 증가에 대해 이야기했지만, 그러한 엄청난 양의 데이터를 관리하고 분석하기 위해서는 적절한 컴퓨터와 시스템이 필요 합니다. 데이터를 축적하기 위한 스토리지도 마찬가지입니다. 이러한 과제를 극복하고 일반 기업에서 빅데이터를 활용하기 위한 토대를 만든 것이 다음과 같은 기술의 진보였습니다.

• 인터넷과 IoT의 발전
• 클라우드 서비스의 보급
• 데이터 분산 관리 기술 구축
• 빅데이터를 활용한 툴의 진전

이러한 기술의 발전과 진보가 빅데이터의 수집/축적/분석의 기술적, 금전적 장애물을 낮추게 되었습니다. 즉, 빅데이터를 활용하기 위한 기술이 확립한 것이 비즈니스에 빅데이터를 돕는 풍조를 확대시켰다고 할 수 있을 것입니다.