IT자격증

빅데이터 분석을 위해서는 다양한 소스의 데이터를 수집, 저장, 분석, 표현, 활용할 수 있는
데이터 통합 아키텍처가 요구된다.
빅데이터 분석 플랫폼에서는 기존 데이터베이스에서 처리하고 있는 정형 데이터 보다는
처리가 불가능한 SNS 데이터같은 반정형, 비정형 데이터가 더 중요한 가치를 가지고 있기
때문에 이러한 Data Type을 저장,분석할수 있는 데이터 아키텍처가 필요로 한다.
 

빅데이터 분석을 위한 데이터 통합 아키텍처의 특징

빅데이터 분석 플랫폼의 통합 아키텍처 구성도

빅데이터 분석 플랫폼의  핵심 기술

Clique 분석

Clique cohesion 분석이란 네트워크(network)를 구성하는 점(node)들간의 결합력(Cohesion)을
바탕으로 해서 군집 구조를 파악하는 분석기법으로. 결합력(Cohesion)은 social network를
구성하는 점(node)들간의 강한(strong) 연결관계를 나타냅니다. Clique은 결합력을 가지는
최소 3개의 점(node)으로 구성되는 그룹(group)을 나타내며 모든 점(node)이 직접적으로
연결되어 있어야만 Clique이 성립됨. 그러므로 Clique은 정의상 완벽한 연관관계와 높은 밀도를
가지게 된다.

왼쪽에는 4개의 빨간색 노드로 이루어진 Clique 하나를 볼수 있다.
오른쪽 5개의 파란색 노도로 이루어진 Clique 하나를 볼수 있다.
Clique는 이 처럼 노드들이 서로 완벽하게 연결되어 있는 것을 말한다.


Centrality 분석

Centrality 란 '중심도' 라고 번역할 수 있는데 어떤 네트워크가 구성되었을 때 이 네트워크에서
가장 중요한 노드를 찾기 위한 일종의 metric 기법이라고 할수 있다.
Centrality분석(사회연결망분석) 은 한 Node가 네트워크에서 얼마나 중심에 위치하는지에 대한
정도를 측정하는 방법이다.다시말해 Node가 특정 Measure에 의해 가질 수 있는 Maxinum값과
현재 네트워크상에서가지는 값의 비율에 대한 분석을 뜻한다. 

1) degree Centrality - 노드별로 직접 연결된 edge의 weight 만을 고려한다. 즉 해당 노드가
                             직접 가진 영향력의 크기는 얼마인가를 측정하는 것을 말함.
2) closeness Centrality - 네트워크의 모든 노드로부터 얼마나 가깝게 위치해있는지를 고려하여
                                centrality를 계산한다.
3) betweenness centrality - 네트워크의 모든 노드 쌍 간의 shortest path가 해당 노드를 지나는지를
                                     고려한 centrality이다.

[출처] 11회 정보관리기술사 기출문제풀이집 (117회 정보관리기술사 모임 - 어울림)

정규화(Normalization)의 정의

데이터베이스에서의 정규화(Normalization)란 관계형 데이터베이스 모델에서
데이터의 중복을 제거하여 삽입 , 갱신 , 삭제 이상현상을 방지하기 위해
무손실 분해를 하는 과정을 말한다.
테이블간에 데이터의 중복이 있는 경우 Insert, Update, Delete 할 때 이상현상 
즉 테이블간, 데이터간 정합성이 깨지는 이상현상이 발생을 한다.
이러한 이상현상을 방지하기 위해 테이블간에 같은 필드가 중복해서 저장되지
않도록 테이블을 분리하는데 이것을 정규화라고 한다.
단 테이블을 분리하면서 데이터의 손실이 가해지면 안되는데 이것을 '무손실분해'
라고 한다.


정규화의 단계

1차 정규화

릴레이션 R의 모든 애트리뷰트가 원자값만을 갖는 경우 제1정규화를 만족한다.


2차 정규화 (부분함수 종속성 제거)

• 기본키가 모든 애트리뷰트의 결정자가 되는 완전함수종속성을 만족하는 경우
• 기본기카 2개 인 경우 그 중 하나만 가지고도 다른 애트리뷰트와 완전함수종속이 
   되는 경우가 있다면 그 릴레이션은 제2정규화를 만족하지 못한다.

• 기본키중에 하나인 <학번>만 가지고도 [학과이름]과 [학과전화번호]를 알수 있다.
  (함수종속) 
•  따라서 2개의 테이블로 분리해야 한다.


3차 정규화

• 키가 아닌 애트리뷰트에 다른 애트리뷰트가 함수종속되는 경우가 있다면 그 릴레이션은
  제3정규형을 만족하지 못한다. (이행종속성) 

  • 기본키가 아닌 [학과이름]만 알아도 기본키가 아닌 [학과전화번호]를 알수 있다. 
    즉 기본키가 아닌 애트리뷰트들간에 함수종속이 있는 경우


BCNF 

• 키가 아닌 애트리뷰트가 기본키에 속하는 어떤 애트리뷰트를 결정하는 경우 
   BCNF를 만족하지 못한다.
• 결국 BCNF를 만족하려면 모든 결정자를 후보키로 만들어야 한다.
  즉 각 결정자를 키로 하는 테이블로 각각 분할해야 한다.
• 3NF이면서 BCNF가 아닌 경우의 조건
    - 복수의 후보키를 가지고 있어야 한다.
    - 후보키들이 복수의 애트리뷰트로 구성되어 있어아 한다.
    - 후보키들이 서로 중첩된다.

• 기본키가 아닌 [C] 컬럼만으로도 기본키중 하나인  애트리뷰트를 알수 있는 경우


문) 렐레이션 R (A,B,C) 에서 다음과 같은 함수적종속성이 성립할 때, 3정규형을 
    만족하도록 릴레이션을 분할하라.. (키는 A이다)
               A -> B   , A -> C  , C->B

답) A->C , C->B 로 인해 키가 아닌 애트리뷰트(B,C)간에 함수종속성이 있는 
    이행함수가 존재하므로  2정규형까지 만족한 상태임
    이행함수가 존재하는 경우 그 다리역할을 하는 필드를 기준으로 분리하면 된다
    따라서   (A,C) , (C,B) 로 분리한다


정규화의 장점

정규화의 단점

데이터사이언스(Data Science)의 정의

1. 일반적인 컴퓨팅 기술 + 분산 컴퓨팅 기술 + 데이터 마이닝 + 기계학습 + 데이터 분석(통계, 수학)에
   해당하는 학술분야를 아울러 통칭하기 위해서 만들어졌다
2. 데이터마이닝(Data Mining) 과 유사하게 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과
   인사이트를 추출하는데 과학적 방법론, 프로세스 알고리즘, 시스템을 동원하는 융합분야
3. 데이터를 통해 실제 현상을 이해하고 분석하는데 통계학, 데이터분석, 기계학습과 연관된 방법론 
   통합 학문


데이터사이언스(Data Science)의 등장배경

전통적인 데이터 분석은 주로 '통계학' 을 중심으로 한 분석(analysis)은 표집(sample)된 데이터를 주로
다루는데 이런 표집데이터 즉 샘플데이터(Sample Data) 는 글자 그래도 샘플이기 때문에 컴퓨터에
저장되는 Size가 작다. (물론 통계학 자체가 이런 샘플 데이터를 가지고 전체 모수를 추측하는
학문이기때문에 당연하다.)
하지만 대량의 데이터 즉 빅데이터가 출연하면서 통계학뿐만 아니라 컴퓨터공학에서도 현실적으로
큰 장벽이 되기 시작했다. 이러한 빅데이터를 처리하는데 많은 자원과 시간이 소모되었기 때문에
당연히 반복작업이 많은 데이터분석, 기계학습과 같은 것은 만족할 만한 결과를 도출하기가 거의
불가능했다. 하지만 빅데이터 기술과 함께 분산컴퓨팅이 고도화되고 일반화도되면서 비교적 저렴한
가격으로 대량의 데이터를 처리할 수 있는 방법으로 이런 제약이 점차 사라지게 되었다.
이런 분산컴퓨팅환경에서의 데이터분석과 현대의 비즈니스는 아주 새롭지는 않지만 기존에 나눠서
했던 작업을 한꺼번에 융합해서 하는 작업을 요구하게 되었고, 그것을 데이터과학(data science)
이라고 부를 수 있다.
즉 전통적인 분석은 통계학을 중심으로 샘플을 중심으로 추론 등에 중심을 둔다고 하면 빅데이터는
대량의 데이터를 처리하고 실시간으로 활용하며 기계학습과 같은 것을 더불어 사용한다. 
즉 예전에는 통계학자, 수학자, 데이터분석가,기계학습전문가 등이 각각 역할을 수행했지만 지금은
분산컴퓨팅 등 대량의 데이터를 처리할 수 있는 환경이 만들어지면서 한 사람이 그 역할들을 같이
수행할 수 있게 되었다.


데이터사이언스에 필요한 스킬 - Data scientist skill set

<출처 : 인투더데이터 : http://intothedata.com/01.data_science/ >

오픈소스 DB의 바람

현재 데이터베이스의 시장은 전통적인 강자인 Oracle , SQL Server 가 시장 점유율에서 높은 자리를 
차지하고 있다는 건 누구나 아는 사실이다. 
하지만 데이터베이스 시장에 '탈 오라클'을 앞세운 오픈소스 기반의 데이터베이스가 바람을 일을키고
있다. 
최근 마리아DB와 몽고DB 등 인기 오픈소스 DB는 한국 지사를 세워 본격적인 시장 공략에 나섰으며,
아마존웹서비스(AWS)와 구글 등 클라우드 서비스 업체들은 오픈소스 및 이를 기반으로 한 자체 DB
서비스를 강화하는 추세다. 구글 클라우드는 최근 기자간담회를 개최하고, 내년 초 국내에 데이터센터가
들어서면 본격적인 클라우드 DB 서비스 확대를 예상했다.
여기에 큐브리드, 알티베이스와 같은 국내 오픈소스 DB업체까지 가세하며 그야말로 오픈소스 DB의
춘추전국시대를 맞이했다는 평가다. 물론 전세계 DBMS 시장의 60% 이상을 차지하는 오라클의
벽을 깨긴 쉽지 않지만, 점차 오라클의 틈새를 파고들고 있다는 평가다.

데이터베이스 순위

                 DB엔진닷컴 2019년 10월 순위


외산 오픈소스 DB

국산 오픈소스 DB

국내 대표 오픈소스DB인 ‘큐브리드’도 최근 공공, 국방분야에서 독보적인 존재감을 드러내고 있다.
지난 2008년 오픈소스로 전환한 큐브리드는 최근 미국 IT솔루션 리뷰업체(굿펌즈)에서 선정한
‘오픈소스 DB 관리 소프트웨어 10선’에 선정되기도 했다.


클라우드 업체의 DB 공세

<출처 : 디지털데일리 : https://n.news.naver.com/article/138/0002078070 >

Apriori 알고리즘을 이용한 연관규칙 도출방법을 보면 빈발항목중에서 후보집합을 선정하는 기준으로
지지도(Support) 를 사용한다.  이처럼 연관규칙분석을 할ㅣ때 후보집합을 결정하려면 먼가 후보선정/탈락
측정기준이 있어야 하는데..주로 쓰이는게 3가지 기준이 있다.

예제

문제) 우유와 빵을 함께 구매한 거래가 10%이고,우유를 구매한 거래의 20%가 빵도 구입했을 때
        우유->빵의 상관관계는 ?  (전체거래중 빵을 구입한 거래는 10%이다)

(풀이) 상관관계란 향상도를 뜻한다.  향상도가 > 1 이면 양의 상관관계이다.
         만약 전체거래(N) = 10 이라고 가정하면

         지지도 = 10% = 1/10                즉 우유,빵 함께 구매한 거래가 1건
         신뢰도 = 20% = 1/우유 구매수   즉 우유 구매수 = 5 건
         빵구입이 10% 이므로               즉 빵 구매수 =  1건

                            우유.빵 거래수 X N           1 x 10
          향상도 =     -------------------------    = --------  =  2
                           우유거래수 x 빵거래수        5 x 1 


Apriori  알고리즘 설명

Apriori알고리즘은 지지도를 이용해서 연관규칙을 찾는 기법중에 하나이다.
  - 연관규칙를 찾아주는 알고리즘 중에서 가장 먼저 개발되었고, 또 가장 많이 사용된다.
  - 연관성규칙의 첫 번째 단계는 항목들 간의 연관성을 나타내기 위한 후보가 되는 
     모든 규칙들을 생성
  - 구매 데이터베이스 내에서 단일 항목들, 2개로 된 항목들, 3개로 된 항목들. 기타 등등의
     모든 조합을 발견
  - 그러나 항목들이 늘어나면 이러한 모든 조합들을 생성하기 위한 계산시간은 기하급수적으로
    증가함.
  - 데이터베이스 내에서 높은 빈도를 갖는 조합 (빈발 항목집합 : Frequent item sets) 을
    찾아내는 것
  - 빈발 항목집합 결정 도구 :지지도(Support)

 위 그림에서 ID 101,102...  가 고객번호라고 생각하고 그 고객이 구매한 상품들이  items 이라고 하자.
[1단계]  단일항목 즉 단일항목 기준으로 해서 구매 빈도수(sup/지지도)를 구해보면 A 항목은 101, 103 고객이 
           구매했으니깐  2 이고, B항목은 3, C항목도 3 ... 이런식으로 구매된 횟수를 카운트 한 결과가  C1 이다. 
           이때 기준 횟수를 2 즉 구매횟수가 2미만인 항목은 제외를 한다 라는 기준을 세운다. (최소 지지도)
           이 기준에 의하면 C1 테이블에서 제외할 항목은 구매횟수가 1인  D 항목이고 D 항목을 제외한 새로운 
           후보집합 L1 을 도출할 수 있다.

[2단계]  L1 후보집합을 기준으로 2개항목 조합을 해서 구매빈도수 즉 지지도를 구한다. 
           그러면 C2 테이블을 만들 수 있다. 이 조합중에서 최소지지도인 2를 충족하지 못하는 (A,B) , (A,E) 조합을
           제외하면 L2 라는 새로운 후보집합을 도출할 수 있다

[3단계] 마찬가지로 L2 후보집합을 기준으로 이번에는 3개항목을 조합해서 구매빈도수(지지도)를 구해본다.
          (A,B,C) , (A,B,E), (A,C,E) ,(B,C,E) 조합이 나올수 있는데 이때 2단계에서 최소지지도에 못미쳐서 제외된 조합이
          (A,B), (A,E) 였기 때문에 (A,B,C) , (A,B,E), (A,C,E) 조합들에서   (A,B), (A,E) 조합이 부분집합으로 포함된 건
          제외해야 하기 때문에 결국 (B,C,E) 조합만 남게 된다. 
          (B,C,E) 조합의 지지도를 구해보면 2 가 되고 이는 최소지지도를 충족하므로 후보집합이 될 수 있다.

연관규칙(Association Rule) 분석기법중에 대표적인 알고리즘이 Apriori 이다.
Apriori 알고리즘은 지지도를 이용해서 연관규칙을 찾는 기법이라고 할수 있다.
  - 연관규칙를 찾아주는 알고리즘 중에서 가장 먼저 개발되었고, 또 가장 많이 사용된다.
  - 연관성규칙의 첫 번째 단계는 항목들 간의 연관성을 나타내기 위한 후보가 되는 
     모든 규칙들을 생성
  - 구매 데이터베이스 내에서 단일 항목들, 2개로 된 항목들, 3개로 된 항목들. 기타 등등의
     모든 조합을 발견
  - 그러나 항목들이 늘어나면 이러한 모든 조합들을 생성하기 위한 계산시간은 기하급수적으로
    증가함.
  - 데이터베이스 내에서 높은 빈도를 갖는 조합 (빈발 항목집합 : Frequent item sets) 을
    찾아내는 것
  - 빈발 항목집합 결정 도구 : 지지도(Support)

Apriori  알고리즘 설명

 위 그림에서 ID 101,102...  가 고객번호라고 생각하고 그 고객이 구매한 상품들이  items 이라고 하자.
[1단계]  단일항목 즉 단일항목 기준으로 해서 구매 빈도수(sup/지지도)를 구해보면 A 항목은 101, 103 고객이
           구매했으니깐  2 이고, B항목은 3, C항목도 3 ... 이런식으로 구매된 횟수를 카운트 한 결과가  C1 이다. 
           이때 기준 횟수를 2 즉 구매횟수가 2미만인 항목은 제외를 한다 라는 기준을 세운다. (최소 지지도)
           이 기준에 의하면 C1 테이블에서 제외할 항목은 구매횟수가 1인  D 항목이고 D 항목을 제외한 새로운
           후보집합 L1 을 도출할 수 있다.

[2단계]  L1 후보집합을 기준으로 2개항목 조합을 해서 구매빈도수 즉 지지도를 구한다. 
           그러면 C2 테이블을 만들 수 있다. 이 조합중에서 최소지지도인 2를 충족하지 못하는 (A,B) , (A,E) 조합을
           제외하면 L2 라는 새로운 후보집합을 도출할 수 있다

[3단계] 마찬가지로 L2 후보집합을 기준으로 이번에는 3개항목을 조합해서 구매빈도수(지지도)를 구해본다.
          (A,B,C) , (A,B,E), (A,C,E) ,(B,C,E) 조합이 나올수 있는데 이때 2단계에서 최소지지도에 못미쳐서 제외된 조합이
          (A,B), (A,E) 였기 때문에 (A,B,C) , (A,B,E), (A,C,E) 조합들에서   (A,B), (A,E) 조합이 부분집합으로 포함된 건
          제외해야 하기 때문에 결국 (B,C,E) 조합만 남게 된다. 
          (B,C,E) 조합의 지지도를 구해보면 2 가 되고 이는 최소지지도를 충족하므로 후보집합이 될 수 있다.

연관규칙이란....

연관규칙분석(Association Rule Analysys)이란 그냥 나열되어 있는 원본 데이터들에 대해서 데이터들간의 연관관계를 탐색하는 무방향성 데이터마이닝 기법중에 하나이다.
보통 마트의 고객들이 구매한 상품간의 연관관계를 찾을 때 많이 사용되는 분석기법이라서 '장바구니 분석' 이라고도 한다.  예를 들어.. 남성 고객이 마트에 가서 구매한 품목을 보니깐 맥주와 기저귀를 같이 구매하는 경우가 많이 나타나면 마트 진열대에 맥주와 기저귀를 같이 배치하는 한다던지 (매장진열), 또 라면을 살때 스윙칩을 같이 사는 형태가 많이 발견된다면 이 두 상품을 합친 패키지 상품을 개발한다던지..(GS25의 오모리김치찌게맛 스윙칩) 여성 고객은 편의점에서 주로 우유와 커피라서 편의점에 들어가면 진열대 가장 잘 보이는 곳에 우유와 커피 제품을 진열하는 것을 볼수 있는데 이런 것들이 모두 연관규칙분석을 통해 효과적인 매장 진열, 패키지상품의 개발, 교차판매 전략수립에 많이 이용된다.
다시 연관규칙을 정의한다면 "데이터들에 대한 발생빈도를 기반으로 데이터간에 연관관계를 찾는 데이터마이닝 기법" 이라고 할수 있다.

데이터마이닝 (Data Mining)

데이터마이닝이란 어떤 데이터들에 대해서 패턴,유사성 등의 관계를 찾아내서 모델을 만든 다음에 새로운 신규 데이터가 들어오는 경우 이 모델에 넣어서 결과를 도출하는 것을 말한다.

데이터마이닝이란 데이터내에서 어떠한 방법(순차 패턴, 유사성 등)에 의해 관심 있는 지식을 찾아내는 과정을 말하는 것으로 대용량의 데이터 속에서 유용한 정보를 발견하는 과정이며, 기대했던 정보뿐만 아니라 기대하지 못했던 정보를 찾을 수 있는 기술을 의미한다. 데이터 마이닝을 통해 정보의 연관성을 파악함으로써 가치있는 정보를 만들어 의사결정에 적용함으로써 이익을 극대화시킬 수 있다. 기업이 보유하고 있는 일일 거래 데이터, 고객 데이터, 상품 데이터 혹은 각종 마케팅 활동의 고객 반응 데이터 등과 이외의 기타 외부 데이터를 포함하는 모든 사용 가능한 Raw 데이터를 기반으로 감춰진 지식, 기대하지 못했던 경향 또는 새로운 규칙 등을 발견하고, 이를 실제 비즈니스 의사 결정 등을 위한 정보로 활용하고자 하는 것. 데이터 마이닝의 적용 분야로 가장 대표적인 것은 데이터베이스 마케닝 분야이다.
[네이버 지식백과] 데이터 마이닝 [data mining] (컴퓨터인터넷IT용어대사전, 2011. 1. 20., 전산용어사전편찬위원회)


연관규칙의 특징

연관규칙 도출과정

연관규칙 측정기준

  *  지지도/신뢰도/향상도에 대한 자세한 설명은 다음 편에서....


연관규칙의 결과 유형

활용분야

연관규칙의 주의점

1. 연관규칙분석은 원인과 결과 즉 인과관계를 찾는 게 아니라는 것이다. 맥주가 원인이고 기저귀가 결과라는
   뜻이 아니라 , 맥주와 기저귀가 같이 조합을 이룬다는 뜻이다..
2. 연관규칙 즉 자율탐색기법(Unsupervised Learning) 은 목표변수(Target Variable) 이 없다.. 이 말이  
   무슨 말이냐면.. 연관규칙 분석에 의해 나온 결과값에 대해서 맞다, 안맞다 를 판단하는게 아니라는
   뜻이다. 예를 들어 맥주를 산 고객은 기저귀를 같이 구매를 한다 라고 결과가 나왔지만 이 것이
   정답이 아닐수도.. 즉 맥주를 산 고객이 무조건 기저귀를 사는 것은 아니라는 뜻이다.

데이터베이스의 교통 신호등

데이터베이스의 목적중에 가장 큰 것은 데이터의 공유라고 할 수 있다.
따라서 데이터베이스는 여러 사용자가 동시에 접근해서 데이터를 Insert , update , delete
할 수밖에 없다.  사거리 교통신호등이 없다고 생각해보자.. 아마 사방에서 차들이
제각기 주행하면서 아마도 충돌사고가 날 것이다. 데이터베이스도 마찬가지다. 여러 사용자가
동시에 데이터에 접근을 하기 때문에 사거리 교통신호등 처럼 교통정리를 안해주면 데이터는
정합성이 깨지면서 엉망이 될 것이다.
그래서 데이터베이스에서는 이러한 데이터에 대한 접근 즉 Transaction 에 대한 4원칙 즉
ACID를 따르도록 되어 있으며 이 ACID를 보장하기 위해서는 Isolation Level (격리수준) 을 결
정해서 적용해야 한다.

Transacton 이란?

트랜잭션(Transaction) 에 대한 개념 정의를 먼저 할 필요가 있다.
데이터베이스에서 트랙잰션(Transaction) 이란 데이터에 대한 하나의 논리적 실행 단계를
말한다.  좀 어려운 용어정의인데.. 예를 들자면  계좌이체를 생각해 보면 계좌이체는
A라는 송신자 통장에서 돈을 빼서 B라는 수신자의 통장에 돈을 넣는 2가지 단계로 
이루어 지듯이 이 두단계에서 데이터에 대한 처리를 하는 논리적 행위를 트랜잭션
(Transaction) 이라고 한다.
그런데 만약 A송신자 통장에서 돈만 빠져나가고 B 수신자 통장에는 오류가 나서 돈이
안들어 왔다면 정말 큰일이다. 따라서 트랙잭션은 이 다음에 설명할 ACID 를 반드시
충족해야 한다.

데이터베이스의 읽기 이상 현상 (Read Phenomena)

데이터베이스에서 Isolation level 에 따라 발생할 수 있는 이상현상들을 정리해보면..

데이터베이스의 Isolation Level (고립수준) 유형

Isolation Level 과 읽기 이상 현상의 관계를 정리하면 다음과 같다

데이터베이스의  Isolation Level 과 동시성과의 상관관계

위에서 설명한 4가지 Isolation Level 중에서 Serializable 레벨이 가장 읽기 이상 현상을 모두 방어할 수 있는 방법이기
는 하지만 대신 그만큼 트랜잭션들이 동시에 병렬적으로 실행되지 못하고 하나씩 하나씩 실행순서대로 실행이
되기 때문에 대기시간이 늘어나고 전체적으로 performance 가 떨어 질수 밖에 없다. 
반대로 Read Uncommitted 는 그냥 트랜잭션 의 수행을 동시에 수행 가능하기 때문에 동시성이 높아진다.
이렇게 Isolaton Level 과 동시성(Concurrent) 은 서로 Trade-off  관계이다.