빅데이터(Big Data)

빅데이터는 우리가 자주 듣는 용어다. 이름 그대로 수많은 데이터들의 집합이라는 뜻이다.

 

 

빅데이터의 특징은 크기(Volume), 다양성(Variety), 속도(Velocity)로 요약할 수 있다.

 

데이터의 물리적인 크기를 말하는 - Volume

데이터의 형태 유뮤와 연산 가능 여부에 따라 나눠지는 데이터의 다양성 - Variety

그리고 이들을 빠르게 분석하고 처리하는 속도인 - Velocity로 나뉜다.

 

실시간으로 생성되는 데이터의 크기와 특징이 다양한 만큼, 이를 활용하는 속도 또한 빼놓을 수 없는 요소가 되었다.

 

최근에는 정확성(Veracity), 가변성(variavility), 가치(Value), 시각화(Visualization)등의 속성이 추가되어 불리기도 한다.

 

빅데이터는 우리가 사용하는 스마트 기기들, 앱, 소셜 미디어 까지 활동 영역을 점점 넓혀지고 있으며,

그 기능은 무궁무진할 것으로 예상된다.

 

 

머신 러닝(Machine Learning)

 

빅데이터라는 용어를 들을 수 있었던 요소 중 하나는 머신 러닝때문이기도 하다.

머신 러닝은 인간이 자연스럽게 학습하는 능력을 컴퓨터로 구현하는 기술을 말한다.

 

쉽게는 인공지능이라고도 할 수 있다.

 

자연어 처리(natural-language processing, NLP)

 

인간이 사용하는 언어를 분석하여 컴퓨터가 이해할 수 있는 형태로 만들거나,

그러한 형태에서 다시 인간이 이해할 수 있는 언어로 표현하는 기술이다.

 

 

빅데이터는 어떻게 분석될까?

 

오피니언 마이닝은 특정 주제에 대해 주관적으로 적은 의견, 반응, 감정등을 분석하여 Insigh로 도출하는 기법이다.

 

1. 정보 수집

 

주제와 연관된 내용 (비정형데이터)

(ex. 누군가 맛집 후기를 남긴 것)

 

2. 주관성 탐지

 

객관적인 사실이나 지나친 주관적인 내용(개인정보)은 배제한다.

 

3. 극성 탐지

 

긍정/부정을 판단한다.

(강도에 따라 가중치를 부여한다.)

 

오피니언 마이닝의 사용 예)

 

소셜 미디어를 통해 선고 후보의 긍정/부정을 파악할 수 있다.

카페, 블로그, sns 데이터를 분석하여 만족/불만족을 파악하고 개선할 수 있다.

구글 맞춤형 광고 등