IT자격증

데이터사이언스(Data Science)의 정의

1. 일반적인 컴퓨팅 기술 + 분산 컴퓨팅 기술 + 데이터 마이닝 + 기계학습 + 데이터 분석(통계, 수학)에
   해당하는 학술분야를 아울러 통칭하기 위해서 만들어졌다
2. 데이터마이닝(Data Mining) 과 유사하게 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과
   인사이트를 추출하는데 과학적 방법론, 프로세스 알고리즘, 시스템을 동원하는 융합분야
3. 데이터를 통해 실제 현상을 이해하고 분석하는데 통계학, 데이터분석, 기계학습과 연관된 방법론 
   통합 학문


데이터사이언스(Data Science)의 등장배경

전통적인 데이터 분석은 주로 '통계학' 을 중심으로 한 분석(analysis)은 표집(sample)된 데이터를 주로
다루는데 이런 표집데이터 즉 샘플데이터(Sample Data) 는 글자 그래도 샘플이기 때문에 컴퓨터에
저장되는 Size가 작다. (물론 통계학 자체가 이런 샘플 데이터를 가지고 전체 모수를 추측하는
학문이기때문에 당연하다.)
하지만 대량의 데이터 즉 빅데이터가 출연하면서 통계학뿐만 아니라 컴퓨터공학에서도 현실적으로
큰 장벽이 되기 시작했다. 이러한 빅데이터를 처리하는데 많은 자원과 시간이 소모되었기 때문에
당연히 반복작업이 많은 데이터분석, 기계학습과 같은 것은 만족할 만한 결과를 도출하기가 거의
불가능했다. 하지만 빅데이터 기술과 함께 분산컴퓨팅이 고도화되고 일반화도되면서 비교적 저렴한
가격으로 대량의 데이터를 처리할 수 있는 방법으로 이런 제약이 점차 사라지게 되었다.
이런 분산컴퓨팅환경에서의 데이터분석과 현대의 비즈니스는 아주 새롭지는 않지만 기존에 나눠서
했던 작업을 한꺼번에 융합해서 하는 작업을 요구하게 되었고, 그것을 데이터과학(data science)
이라고 부를 수 있다.
즉 전통적인 분석은 통계학을 중심으로 샘플을 중심으로 추론 등에 중심을 둔다고 하면 빅데이터는
대량의 데이터를 처리하고 실시간으로 활용하며 기계학습과 같은 것을 더불어 사용한다. 
즉 예전에는 통계학자, 수학자, 데이터분석가,기계학습전문가 등이 각각 역할을 수행했지만 지금은
분산컴퓨팅 등 대량의 데이터를 처리할 수 있는 환경이 만들어지면서 한 사람이 그 역할들을 같이
수행할 수 있게 되었다.


데이터사이언스에 필요한 스킬 - Data scientist skill set

<출처 : 인투더데이터 : http://intothedata.com/01.data_science/ >

Apriori 알고리즘을 이용한 연관규칙 도출방법을 보면 빈발항목중에서 후보집합을 선정하는 기준으로
지지도(Support) 를 사용한다.  이처럼 연관규칙분석을 할ㅣ때 후보집합을 결정하려면 먼가 후보선정/탈락
측정기준이 있어야 하는데..주로 쓰이는게 3가지 기준이 있다.

예제

문제) 우유와 빵을 함께 구매한 거래가 10%이고,우유를 구매한 거래의 20%가 빵도 구입했을 때
        우유->빵의 상관관계는 ?  (전체거래중 빵을 구입한 거래는 10%이다)

(풀이) 상관관계란 향상도를 뜻한다.  향상도가 > 1 이면 양의 상관관계이다.
         만약 전체거래(N) = 10 이라고 가정하면

         지지도 = 10% = 1/10                즉 우유,빵 함께 구매한 거래가 1건
         신뢰도 = 20% = 1/우유 구매수   즉 우유 구매수 = 5 건
         빵구입이 10% 이므로               즉 빵 구매수 =  1건

                            우유.빵 거래수 X N           1 x 10
          향상도 =     -------------------------    = --------  =  2
                           우유거래수 x 빵거래수        5 x 1 


Apriori  알고리즘 설명

Apriori알고리즘은 지지도를 이용해서 연관규칙을 찾는 기법중에 하나이다.
  - 연관규칙를 찾아주는 알고리즘 중에서 가장 먼저 개발되었고, 또 가장 많이 사용된다.
  - 연관성규칙의 첫 번째 단계는 항목들 간의 연관성을 나타내기 위한 후보가 되는 
     모든 규칙들을 생성
  - 구매 데이터베이스 내에서 단일 항목들, 2개로 된 항목들, 3개로 된 항목들. 기타 등등의
     모든 조합을 발견
  - 그러나 항목들이 늘어나면 이러한 모든 조합들을 생성하기 위한 계산시간은 기하급수적으로
    증가함.
  - 데이터베이스 내에서 높은 빈도를 갖는 조합 (빈발 항목집합 : Frequent item sets) 을
    찾아내는 것
  - 빈발 항목집합 결정 도구 :지지도(Support)

 위 그림에서 ID 101,102...  가 고객번호라고 생각하고 그 고객이 구매한 상품들이  items 이라고 하자.
[1단계]  단일항목 즉 단일항목 기준으로 해서 구매 빈도수(sup/지지도)를 구해보면 A 항목은 101, 103 고객이 
           구매했으니깐  2 이고, B항목은 3, C항목도 3 ... 이런식으로 구매된 횟수를 카운트 한 결과가  C1 이다. 
           이때 기준 횟수를 2 즉 구매횟수가 2미만인 항목은 제외를 한다 라는 기준을 세운다. (최소 지지도)
           이 기준에 의하면 C1 테이블에서 제외할 항목은 구매횟수가 1인  D 항목이고 D 항목을 제외한 새로운 
           후보집합 L1 을 도출할 수 있다.

[2단계]  L1 후보집합을 기준으로 2개항목 조합을 해서 구매빈도수 즉 지지도를 구한다. 
           그러면 C2 테이블을 만들 수 있다. 이 조합중에서 최소지지도인 2를 충족하지 못하는 (A,B) , (A,E) 조합을
           제외하면 L2 라는 새로운 후보집합을 도출할 수 있다

[3단계] 마찬가지로 L2 후보집합을 기준으로 이번에는 3개항목을 조합해서 구매빈도수(지지도)를 구해본다.
          (A,B,C) , (A,B,E), (A,C,E) ,(B,C,E) 조합이 나올수 있는데 이때 2단계에서 최소지지도에 못미쳐서 제외된 조합이
          (A,B), (A,E) 였기 때문에 (A,B,C) , (A,B,E), (A,C,E) 조합들에서   (A,B), (A,E) 조합이 부분집합으로 포함된 건
          제외해야 하기 때문에 결국 (B,C,E) 조합만 남게 된다. 
          (B,C,E) 조합의 지지도를 구해보면 2 가 되고 이는 최소지지도를 충족하므로 후보집합이 될 수 있다.