데이터 계산, 데이터 관리 및 모니터링 등을 제공합니다.

데이터 과학 및 빅 데이터 산업 체인은 데이터 분석 플랫폼, 데이터 과학 플랫폼, 소셜 분석, 기계 학습 등을 포함한 빅 데이터 분석에 대한 기술 지원을 제공합니다.

조직은 영업 및 마케팅, 고객 서비스, 인적 자본 및 기타 특정 서비스를 포함하여 엔터프라이즈 수준의 응용 프로그램 기술 또는 도구를 제공합니다.

일반적인 업계 문제를 해결하고 엔터프라이즈 애플리케이션을 위한 기술 플랫폼을 제공합니다.

Microsoft 등 크로스 플랫폼 인프라 및 크로스 플랫폼 분석 도구를 제공합니다.

기술 설계 프레임워크 쿼리 데이터 흐름, 데이터 액세스 조정 스트림 처리 통계 도구, 인공 지능 기계 학습 딥 러닝 검색 로그 분석 시각화 협업 및 보안

건강 사물인터넷 금융경제 등

데이터 리소스는 인큐베이터, 학교, 연구 기관 등 데이터를 생성하는 기관을 나타냅니다.

사용자 정의 맵 함수는 입력 데이터에서 키-값 쌍을 받고, 맵 함수로 계산한 후 중간 키-값 쌍 집합을 얻습니다.

사용자 정의 축소 함수는 중간 키 값과 관련 값 값 세트를 받습니다.

마스터-슬레이브 구조로 실행

map 함수와 Reduce 함수 간의 데이터 처리

키 값 유형의 입력 및 출력

내결함성 메커니즘의 복잡성

데이터 저장 위치의 다양성

작업 세분화의 중요성

작업 백업 메커니즘의 필요성

파티션 기능

결합기 기능

손상된 기록 건너뛰기

로컬 실행

상태정보

카운터

MRv1

확장성이 좋지 않음

신뢰성이 낮음

낮은 자원 활용도

여러 컴퓨팅 프레임워크를 지원할 수 없음

작업

일

jobTracker 및 TaskTracker

입력 슬라이스

데이터 현지화 최적화

클라이언트가 MapReduce 작업을 제출합니다.

JobTracker는 작업 실행을 조정합니다.

TaskTracker는 분할된 작업을 실행합니다.

HDFS는 다른 엔터티 간에 작업 파일을 공유하는 데 사용됩니다.

매우 큰 파일 지원

상용 하드웨어 기반

스트리밍 데이터 액세스

높은 처리량

구조화된 데이터 파일을 데이터베이스 테이블에 매핑하고, 간단한 HiveQL 쿼리 기능을 제공하고, HiveQL 문을 MapReduce 작업으로 변환하여 실행할 수 있습니다.

데이터 분석을 위한 기술 언어인 Pig Latin 언어

돼지 실행 환경

확장 가능한 기계 학습 알고리즘 및 구현 제공

구조화된 데이터를 위한 확장 가능하고 신뢰성이 높은 고성능 분산 및 열 중심 동적 스키마 데이터베이스

HBase 논리 모델

HBase 물리적 모델

간단

자기 복제

순차적 액세스

고속 읽기

높은 신뢰성

확장성

편리한 관리 지원

사용자 맞춤화 지원

고속

다재

사용의 용이성

자원 관리

스파크 코어 레이어

서비스 계층

파티션 세트

각 파티션을 계산하는 함수

의존하다

선호 위치

파티셔너

변환

행동

DAGScheduler는 실행 계획 생성을 담당합니다.

TaskScheduler는 작업 할당 및 작업자 실행 예약을 담당합니다.

데이터 유형 매핑

세션 프로세스 재정의

다양한 API 제공

맞춤형 분산 실행 기능 지원

다양한 R 코드 편집 및 실행 환경 지원

높은 데이터 일관성

낮은 데이터 중복성

강력하고 복잡한 쿼리 기능과 높은 제품 성숙도

데이터의 분산 저장 및 처리가 용이함

빈번한 데이터 작업 비용이 저렴하고 간단한 데이터 처리가 매우 효율적입니다.

데이터 모델이 지속적으로 변경되는 애플리케이션 시나리오에 적합

관계 클라우드

분열

빅테이블

마스터-슬레이브 복제

피어 투 피어 복제

약한 일관성

최종 일관성

업데이트 일관성

읽기 및 쓰기 일관성

세션 일관성

애플리케이션

분산 시스템은 일관성, 가용성 및 파티션 허용 오차 요구 사항을 동시에 충족할 수 없습니다. 이러한 특성 중 최대 두 가지만 동시에 충족할 수 있습니다.

기본 원리

NoSQL을 실제로 적용하려면 일관성과 가용성을 고려해야 합니다.

구체화된 뷰

상태 업데이트

버전 스탬프

사용자에게 소프트웨어, 하드웨어 제품 또는 정보 자원 판매

사용자를 대신하여 소프트웨어, 하드웨어 장비 또는 정보 자원을 관리하고 유지할 책임이 있습니다.

데이터 관리 완벽주의자에서 현실주의자로

Schema First에서 Schema First로, Schema Late와 Schemaless가 공존합니다.

복잡한 처리 중심에서 단순 처리 중심으로

Strong Consistency 추구부터 데이터 일관성에 대한 다양한 이해까지

데이터 중복의 부정적인 효과 강조에서 데이터 중복의 긍정적인 효과 강조까지

재현율, 정확도 추구부터 쿼리 응답 속도 강조까지

제품으로서의 데이터베이스 관리 시스템에서 서비스로서의 데이터베이스 관리 시스템으로의 전환

데이터 관리 기술의 표준화에서 데이터 관리 기술의 다양화로

단일 기술에만 의존하는 것에서 여러 기술을 통합하는 것까지

경제

강력한 계산

주문형 서비스

가상화