운영 절차

많이

다양한

고속

값

인공 지능, 기계 학습, 통계 등의 방법을 사용하여 방대한 양의 데이터에서 이전에 알려지지 않은 유용한 패턴이나 지식을 추출하는 컴퓨팅 프로세스입니다.

데이터의 양이 급격히 증가하면서 데이터베이스 기반의 지식 발굴, 이에 상응하는 데이터 마이닝 이론 및 기술에 대한 연구라는 새로운 연구 방향이 등장했습니다.

인터넷 이후의 차세대 기술 핫스팟

데이터는 폭발적이지만 지식은 부족함

비즈니스 데이터에서 비즈니스 정보로의 진화

데이터 전처리

데이터 수집

모델 평가

프로세스

데이터

정보

지식

지혜

연관 규칙 마이닝

지도 머신러닝

비지도 기계 학습 - 클러스터링(유사성 알고리즘)

반품

지도 학습

비지도 학습

엔터프라이즈 데이터 애플리케이션

준지도 학습

강화 학습

예측 마이닝

설명 마이닝

데이터 세트의 요약 요약

데이터 연결 규칙

분류 및 예측

클러스터링

이종 검출

시계열 모델

데이터 객체로 구성

데이터 객체는 엔터티를 나타냅니다.

알려진 이름: 샘플, 예제, 인스턴스, 데이터 포인트, 개체, 튜플

데이터 객체의 특성

용어

분류

평균, 중앙값, 모드

범위, 사분위수, 사분위수 범위

5개 숫자 요약, 상자 그림 및 이상값

분산, 표준편차

분위수 도표

분위수 - 분위수 도표

히스토그램

산포도

그래픽을 통해 데이터를 효과적으로 표현

상자 그림(상자 그림)

히스토그램

산포도

1차원 값을 시각화하는 간단한 방법은 해당 차원의 값을 색상으로 반영하는 픽셀을 사용하는 것입니다.

1차원 값에 적합, 다차원 공간정보 분산에는 적합하지 않음

사용자가 다차원 데이터의 투영을 발견하도록 돕습니다. 기하학적 투영 기술의 주요 과제는 고차원 공간을 2차원으로 시각화하는 방법을 알아내는 것입니다.

2차원 데이터 포인트의 경우 일반적으로 데카르트 좌표계 산점도가 사용됩니다. 산점도에서는 데이터의 세 번째 차원으로 다양한 색상이나 모양을 사용할 수 있습니다.

(3차원 데이터 세트에 사용) 산점도, 산점도 행렬, 평행 좌표 시각화(차원 수가 많은 경우)

적은 수의 아이콘으로 다차원 데이터 값을 표현

일반적으로 사용되는 두 가지 아이콘 방법

모든 차원을 하위 집합(즉, 하위 공간)으로 나누고 이러한 하위 공간을 계층적으로 시각화합니다.

일반적으로 사용되는 두 가지 계층적 시각화 방법

태그 클라우드

유사성

차이점

근접성

데이터 매트릭스(객체 - 속성 매트릭스)

비유사성 매트릭스(객체 - 객체 매트릭스)

수치 속성 개체의 차이점에 대한 거리 측정값을 계산하는 몇 가지 일반적인 방법

각 유형의 속성은 하나의 그룹으로 구분되며, 각 유형에 대해 데이터 마이닝 분석(예: 클러스터 분석)이 수행됩니다. 이러한 분석이 동일한 결과를 얻으면 이 방법은 작동하지만 실제 적용에서는 각 속성 유형 분류에 대해 동일한 결과를 얻기가 어렵습니다.

더 나은 접근 방식: 단일 분석을 수행하고 다양한 속성을 단일 비유사성 행렬로 결합한 다음 속성을 공통 간격 [0.0,0.1]으로 변환합니다.

예

텍스트 검색, 생물학적 정보 마이닝

문서 벡터, 단어 빈도 벡터

최적의 초평면 찾기

키 몸무게

순서가 지정되지 않은 범주형 변수

순차적 분류

분류, 순서, 거리, 비율

학습자는 데이터 D가 주어졌을 때 후보 가설 집합 H에서 가장 가능성이 높은 가설 h를 선택합니다. h를 최대 사후 가설이라고 합니다.

일반적으로 각 속성은 독립적이고 동일하게 분포되어 있다고 가정합니다.

속성은 불연속적이거나 연속적일 수 있습니다.

탄탄한 수학적 기초와 안정적인 분류 효율성

누락, 시끄러운 데이터, 이상값에 민감하지 않음

속성이 관련성이 없으면 분류 효과가 매우 좋습니다.

연관 규칙 마이닝은 트랜잭션 데이터베이스의 항목 세트 간의 상관 관계를 마이닝하고 지원 및 신뢰도의 최소 임계값 요구 사항을 충족하는 모든 연관 규칙을 마이닝하는 데 사용됩니다.

연관 규칙은 대량의 데이터에서 데이터 항목 간의 잠재적으로 유용한 종속성을 찾는 데 사용됩니다.

빈번한 항목 집합

최소한의 지원과 신뢰도를 충족하거나 초과하는 규칙

빅데이터의 항목 집합에서 발생 횟수 ≥ 빈번 항목 집합을 찾습니다.

위에서 구한 빈발항목집합으로부터 최소한의 지지도와 신뢰도 조건을 만족하는 연관규칙을 수립한다.

일관성 측정

상관관계 측정

식별능력 측정

정보 측정

단계별로 앞으로 선택

단계별 뒤로 선택

단일 종속변수와 하나 이상의 독립변수 사이의 관계를 연구하는 학문입니다.

예측은 종속변수를 예측하기 위해 관찰된 변수를 사용하는 것을 의미합니다.

인과분석은 독립변수를 종속변수의 원인으로 취급한다.

선형 종속성이 없는 모델 데이터

다항회귀모델링 방법을 사용한 후 변수변환을 수행하여 비선형 모델을 선형 모델로 변환한 후 최소제곱법을 이용하여 푼다.

결합된 변수가 주성분입니다.

빅데이터 라이프사이클의 첫 번째 단계

기존 데이터에 비해 빅데이터 데이터는 방대하고 다양하며 이질적입니다.

수집부터 처리까지 빅 데이터는 일관성, 가용성 및 파티션 내결함성을 평가해야 합니다.

분산 시스템의 로그 수집

네트워크 데이터 수집

DPI 심층 패킷 검사

DFI 깊이/동적 흐름 검사

특정 시스템 인터페이스 데이터 수집

데이터 품질 향상

데이터 정리

데이터 통합

데이터 변환(예: 정규화)

1. 결측값 정리

2. 이상값 정리(이상값, 와일드 값)

3. 형식 콘텐츠 정리

4. 논리 오류 청소

5. 불필요한 데이터 정리

6.관련성 검증

전통적인 의미의 데이터 통합

일반적인 의미의 데이터 통합

모델의 중요성

중복 속성 감지

차원 축소가 필요한 시나리오

일반적인 차원 축소 방법 - PCA 주성분 분석

픽셀과 같은 품질을 줄여 데이터 크기를 줄입니다.

부드러움, 속성 구성, 집계, 정규화, 이산화, 개념 레이어링

정규화를 통해 데이터 변환

비닝을 통한 이산화

히스토그램 비닝을 통한 이산화

클러스터링, 의사 결정 트리 및 상관 분석을 통한 이산화

명목 데이터의 개념적 계층화

등폭법

등빈도법

클러스터링 방법