IT자격증

비정형 데이터란?

형식이 정해지지 않은 데이터. 데이터는 형식이 정해진 정형 데이터(formal data)와 형식이 정해지지 않은 비정형 데이터가 있다. 페이스북, 트위터 등 소셜 네트워킹 서비스(SNS, 누리소통망 서비스)의 확산으로 데이터베이스에 잘 정리된 데이터가 아닌, 웹 문서, 이메일, 소셜 데이터 등 비정형 데이터가 주를 이루고 있다.

[네이버 지식백과] 비정형 데이터 [informal data, 非定型-] (IT용어사전, 한국정보통신기술협회)


비정형 데이터 마이닝의 개념

비정형 데이터를 정련 과정을 통해 정형 데이터로 변환하고 분류, 군집화, 회귀분석, 이상탐지 등의 기법으로
유의미한 정보를 추출하는 기법

비정형 데이터 마이닝의 유형

사회연결망 분석의 개념

	설명
개념	개인과 집단들 간의 관계를 노드와 링크로서 모델링해 그것의 위상구조와 확산 및 진화과정을 계량적으로 분석하는 기법
개념도

사회연결망 분석 표현 방법

구분	설명
집합론적 방법	집합 X={X1} 관계 쌍 A,B  A={(X1, X2), (X2, X1),(X4, X2),(X3, X1) } B={(X1, X2), (X2, X1), (X3, X4),(X4, X3 }	각 객체들의 관계를 관계쌍으로 표시
그래프 이용방법		객체는 노드, 객체간 연결망은 선(Edgee)으로 표현
행렬 이용 방법		각 객체를 행렬의 행과 열에 대칭적 으로 배치

사회연결망 분석 기법

비정형 데이터란?

형식이 정해지지 않은 데이터. 데이터는 형식이 정해진 정형 데이터(formal data)와 형식이 정해지지 않은 비정형 데이터가 있다. 페이스북, 트위터 등 소셜 네트워킹 서비스(SNS, 누리소통망 서비스)의 확산으로 데이터베이스에 잘 정리된 데이터가 아닌, 웹 문서, 이메일, 소셜 데이터 등 비정형 데이터가 주를 이루고 있다.

[네이버 지식백과] 비정형 데이터 [informal data, 非定型-] (IT용어사전, 한국정보통신기술협회)


비정형 데이터 마이닝의 개념

비정형 데이터를 정련 과정을 통해 정형 데이터로 변환하고 분류, 군집화, 회귀분석, 이상탐지 등의 기법으로
유의미한 정보를 추출하는 기법

비정형 데이터 마이닝의 유형

텍스트 마이닝 개념

위에 표로 텍스트 마이닝에 대해서 정의를 했지만 그리 맘에 와닿지는 않는 설명이다.
대신 사례를 들어서 살펴보면 확실하게 개념이 잡힐것으로 기대한다.
이 텍스트 마이닝은 이미 여러 분아에서 많이 사용되고 있는 기법이다. 주로 광고,정치,관광 분아에서 많이 이 
기법을 사용해서 여러가지 정책이나 아이디어, 여론분석등에 사용하고 있다.

위 그림은 산업통상자원부의 7월 수출입 동향, 전력 공급 능력, 유통업체 매출 동향 등 3개의 뉴스의 키워드를 뽑아내
만든 그림이다.. 뉴스에서 가장 많이 언급된 단어들을 빈도에 따라 크기를 달리해 표현하고 있는데
이 그림으로 2018년 7월 한 달간 수출입 동향, 전력 수급, 반도체에 대한 내용이 산업부의 주요 쟁점이었다는 것을 알 수 있다. 이것이 바로 텍스트 마이닝이다. 

[출처] 빅데이터 기술의 숨은 조력자, 텍스트 마이닝|작성자 산소

이런 텍스트 마이닝을 수행할려면 당연히 주제에 해당하는 문서,기사,SNS 등의 Text 내용을 수집해야겠죠.
그런다음 이 Text의 내용을 정제하는 즉, 조사 같은걸 없앤다던지.. 특정 패턴을 제거한다던지..하는 전처리작업을
진행해야 한다.  그 다음에는 유사단어나 공통어간을 단어들을 통합하고 여기서 단어(word) 들을 뽑아내는
단계를 거치게 된다. 그리고 이 추출된 단어들간의 연관성분석(예, prioir분석) 등을 해서 최종 시각화작업을
통해 사용자에게 제공하게 된다.
아래 내용은 이러한 과정을 R을 기준으로 표로 다시 정리해봤다.


텍스트 마이닝의 기본 분석절차 (R 기준)

[출처] 118회 정보관리기술사 기출문제풀이집 (117회어우림동기회)

빅데이터 분석을 위해서는 다양한 소스의 데이터를 수집, 저장, 분석, 표현, 활용할 수 있는
데이터 통합 아키텍처가 요구된다.
빅데이터 분석 플랫폼에서는 기존 데이터베이스에서 처리하고 있는 정형 데이터 보다는
처리가 불가능한 SNS 데이터같은 반정형, 비정형 데이터가 더 중요한 가치를 가지고 있기
때문에 이러한 Data Type을 저장,분석할수 있는 데이터 아키텍처가 필요로 한다.
 

빅데이터 분석을 위한 데이터 통합 아키텍처의 특징

빅데이터 분석 플랫폼의 통합 아키텍처 구성도

빅데이터 분석 플랫폼의  핵심 기술

Clique 분석

Clique cohesion 분석이란 네트워크(network)를 구성하는 점(node)들간의 결합력(Cohesion)을
바탕으로 해서 군집 구조를 파악하는 분석기법으로. 결합력(Cohesion)은 social network를
구성하는 점(node)들간의 강한(strong) 연결관계를 나타냅니다. Clique은 결합력을 가지는
최소 3개의 점(node)으로 구성되는 그룹(group)을 나타내며 모든 점(node)이 직접적으로
연결되어 있어야만 Clique이 성립됨. 그러므로 Clique은 정의상 완벽한 연관관계와 높은 밀도를
가지게 된다.

왼쪽에는 4개의 빨간색 노드로 이루어진 Clique 하나를 볼수 있다.
오른쪽 5개의 파란색 노도로 이루어진 Clique 하나를 볼수 있다.
Clique는 이 처럼 노드들이 서로 완벽하게 연결되어 있는 것을 말한다.


Centrality 분석

Centrality 란 '중심도' 라고 번역할 수 있는데 어떤 네트워크가 구성되었을 때 이 네트워크에서
가장 중요한 노드를 찾기 위한 일종의 metric 기법이라고 할수 있다.
Centrality분석(사회연결망분석) 은 한 Node가 네트워크에서 얼마나 중심에 위치하는지에 대한
정도를 측정하는 방법이다.다시말해 Node가 특정 Measure에 의해 가질 수 있는 Maxinum값과
현재 네트워크상에서가지는 값의 비율에 대한 분석을 뜻한다. 

1) degree Centrality - 노드별로 직접 연결된 edge의 weight 만을 고려한다. 즉 해당 노드가
                             직접 가진 영향력의 크기는 얼마인가를 측정하는 것을 말함.
2) closeness Centrality - 네트워크의 모든 노드로부터 얼마나 가깝게 위치해있는지를 고려하여
                                centrality를 계산한다.
3) betweenness centrality - 네트워크의 모든 노드 쌍 간의 shortest path가 해당 노드를 지나는지를
                                     고려한 centrality이다.

[출처] 11회 정보관리기술사 기출문제풀이집 (117회 정보관리기술사 모임 - 어울림)