스택 오버플로와 같은 치명적인 오류, 제어할 수 없는 프로그램

런타임 예외

컴파일 시간 예외(런타임이 아닌 예외)

쿼리와 수정은 빠르고, 추가와 삭제는 느리다

저장 간격이 연속적이고, 메모리 사용량이 심각하며, 공간 복잡도가 크다.

장점: 배열이 연속적이므로 무작위 읽기 및 수정이 빠르다(강력한 무작위 접근과 빠른 검색 속도)

단점: 데이터를 삽입한 후 이 위치 뒤의 데이터를 메모리에서 이동해야 하고 크기가 고정되지 않아 동적으로 쉽게 확장할 수 없기 때문에 삽입 및 삭제가 비효율적입니다.

빠른 추가 및 삭제, 느린 검색

저장 공간이 분리되어 있고, 점유된 메모리가 느슨하며, 공간 복잡도가 작습니다.

장점: 빠른 삽입 및 삭제, 높은 메모리 활용도, 고정된 크기 없음, 유연한 확장

단점: 무작위로 검색할 수 없고 매번 처음부터 시작하며 쿼리 효율성이 낮음

추가, 삭제, 검색은 빠르고, 데이터 해싱은 저장공간 낭비

선입선출, 테일 삽입 및 상단 제거는 빠르지만 다른 액세스는 느립니다.

선입, 후출, 상단 제거 및 삽입은 빠르지만 상단 요소를 제외한 다른 요소에 대한 액세스는 느립니다.

추가, 삭제, 검색 모두 빠르고, 알고리즘 구조가 복잡함(자세한 내용은 이진트리 참조)

추가, 삭제, 검색은 빠르지만 삭제 알고리즘의 구조가 복잡합니다.

시간 복잡도는 기껏해야 O(logn), 최악의 경우 O(n)입니다.

특수 이진 트리

저장 공간을 절약하고 복잡한 데이터 관계를 설명하는 것을 불편하게 만듭니다.

반복자를 사용하여 컬렉션을 순회하고 컬렉션의 개체를 변경(추가, 삭제, 수정)하는 경우 예외가 발생합니다.

목록

세트

대기줄

해시맵

해시테이블

정렬된 지도

하위 주제 1

jdk 동적 프록시

CGlib

이는 작은 메모리 공간이며 현재 스레드에서 실행되는 코드를 나타냅니다. 카운터 값을 변경하면 실행해야 할 다음 바이트코드 명령이 선택되며 각 스레드에는 고유한 프로그램 카운터가 있습니다. 스레드 사이에 프로그램 카운터가 없습니다. 영향; 스레드가 Java 메소드를 실행하는 경우 OOM이 발생하지 않는 유일한 영역은 실행 중인 가상 머신 바이트코드 명령의 주소를 기록합니다. 비었다.

스레드 전용은 주로 지역 변수, 스택 프레임, 피연산자 스택, 동적 링크, 메소드 종료 및 기타 정보를 저장합니다.

운영 체제 클래스 라이브러리 호출

스레드 공유, 기본적으로 모든 개체는 가비지 수집의 주요 영역인 Java 힙에 있습니다.

스레드 공유는 주로 클래스 정보, 상수, 정적 변수 및 컴파일된 코드 데이터를 저장합니다.

런타임 상수 풀

프로그램은 정적이지만 프로세스는 동적입니다.

프로세스는 시스템이 실행 중일 때 각 프로세스에 서로 다른 메모리 영역이 할당되는 가장 작은 자원 할당 단위입니다.

프로세스가 동시에 여러 스레드를 실행하는 경우 멀티스레딩을 지원합니다.

스레드는 예약 및 실행 단위 역할을 하며 각 스레드에는 독립적인 스택과 프로그램 카운터(pc)가 있으며 스레드 전환의 오버헤드가 작습니다.

프로세스의 여러 스레드는 동일한 메모리 단위/메모리 주소 공간을 공유합니다. -> 동일한 힙에서 개체를 할당하고 동일한 개체 및 변수에 액세스할 수 있습니다. 이는 스레드 간의 통신을 더욱 간단하고 효율적으로 만듭니다. 하지만 여러 스레드 간에 공유하면 보안 문제가 발생합니다.

두 개 이상의 이벤트가 동시에 발생함

두 개 이상의 사건이 동일한 시간 간격으로 발생합니다.

Thread 클래스를 상속하고 run 메서드 구현을 재정의합니다. run 메서드의 코드는 Thread를 상속하는 하위 클래스를 인스턴스화하여 스레드가 Runnable 인터페이스를 호출할 수 있도록 합니다.

스레드 공통 방법

스레드 우선순위:

스레드 상태 Thread.State

1) 하위 클래스를 정의하고 Runnable 인터페이스를 구현합니다. 2) 서브클래스의 Runnable 인터페이스에서 run 메소드를 다시 작성하십시오. 3) Thread 클래스의 매개변수 포함 생성자를 통해 스레드 객체를 생성합니다. 4) Runnable 인터페이스의 하위 클래스 객체를 Thread 클래스의 생성자에 실제 매개변수로 전달합니다. 5) Thread 클래스의 시작 메소드를 호출합니다. 스레드를 시작하고 Runnable 하위 클래스 인터페이스의 run 메소드를 호출합니다.

호출 가능은 ExecutorService를 사용하거나 FeatureTask의 매개변수로 실행될 수 있습니다.

공개 클래스 MyCallable은 Callable<T> {를 구현합니다. @우세하다 공개 T 호출()이 예외를 발생시킵니다. { // 여기서 호출할 수 있는 코드를 정의합니다. } } MyCallable myCallable = new MyCallable(); ExecutorService 실행자 = Executors.newSingleThreadExecutor(); Future<T> future = executor.submit(myCallable); T 결과 = future.get();

호출 가능<Process> 작업 = () -> { //비동기 작업 실행 런타임 런타임 = Runtime.getRuntime(); 프로세스 프로세스 = Runtime.exec("/Users/mac/Desktop/qc-java-runtime/src/main/java/com/qc/runtime/shell.sh"); 반품 과정; }; //호출 가능 항목을 FutureTask로 래핑 FutureTask<Process> future = new FutureTask<>(작업); //비동기 작업을 수행하기 위해 새 스레드를 시작합니다. 새로운 Thread(미래).start(); // 비동기 작업의 결과를 가져옵니다. 처리 결과 = future.get(); System.out.println(결과);

동시 작업의 경우 두 작업이 동일한 리소스에 액세스하는 것을 방지하는 방법이 필요합니다(공유 리소스를 놓고 효과적으로 경쟁함). 이러한 충돌을 방지하는 방법은 작업에서 리소스를 사용할 때 리소스를 잠그는 것입니다. 리소스에 액세스하는 첫 번째 작업은 잠금이 해제될 때까지 다른 작업이 리소스에 액세스할 수 없도록 리소스를 잠가야 합니다. 잠금이 해제되면 다른 작업이 해당 리소스를 잠그고 사용할 수 있습니다.

동기화됨

이중 자물쇠

잠금 해제

애플리케이션 레이어

프리젠테이션 레이어

세션 레이어

전송 계층

네트워크 계층

데이터링크 계층

물리층

애플리케이션 레이어

전송 계층

네트워크 계층

물리적 데이터링크 계층

1. 연결을 설정하지 않고 데이터, 소스 및 대상을 데이터 패킷으로 캡슐화합니다. 2. 각 데이터그램의 크기는 64K로 제한됩니다. 3. 보내는 사람은 상대방의 준비 여부를 신경 쓰지 않고, 받는 사람은 수신 확인을 하지 않아 신뢰할 수 없습니다. 4. 방송 및 전송 가능 5. 데이터 전송 시 리소스를 해제할 필요가 없으며 오버헤드가 낮고 속도가 빠릅니다.

1. TCP 프로토콜을 사용하기 전에 먼저 TCP 연결을 설정하여 데이터 전송 채널을 형성해야 합니다. 2. 전송하기 전에 "3방향 핸드셰이크" 방법이 사용되며 지점 간 통신이 안정적입니다. 3. 두 개의 애플리케이션 프로세스는 TCP 프로토콜(클라이언트와 서버)을 사용하여 통신합니다. 4. 연결 중에 많은 양의 데이터가 전송될 수 있습니다. 5. 전송이 완료된 후 설정된 연결을 해제해야 하므로 비효율적입니다.

3방향 핸드셰이크(연결 설정)

네 번 흔들기(연결 끊기)

스트림 소켓

데이터그램 소켓

URL

클래스 c1 = Object.class; 클래스 c2 = Comparable.class; 클래스 c3 = String[].class; 클래스 c4 = int[][].class; 클래스 c5 = ElementType.class; 클래스 c6 = Override.class; 클래스 c7 = int.class; 클래스 c8 = void.class; 클래스 c9 = 클래스.클래스; int[] a = 새로운 int[10]; int[] b = 새로운 int[100]; 클래스 c10 = a.getClass(); 클래스 c11 = b.getClass();

내결함성(복제 메커니즘)

빅데이터 처리에 적합하고, 페타바이트급 데이터 처리가 가능하며, 수백만 개의 파일을 처리할 수 있습니다.

저렴한 머신에 배포 가능

지연 시간이 짧은 데이터 액세스에는 적합하지 않음

많은 수의 작은 파일을 효율적으로 저장하는 것은 불가능합니다. 네임노드의 메모리는 제한되어 있으며 작은 파일이 너무 많으면 주소 지정 시간이 파일 처리 시간보다 길어집니다.

동시 쓰기는 지원되지 않으며 파일은 무작위로 수정됩니다.

hdfs 네임스페이스 관리

복제본 정책 구성

블록 매핑 정보 관리

클라이언트 요청 처리

데이터 블록 저장

데이터 블록에 대한 읽기 및 쓰기 요청 실행

파일 분할, 파일 업로드 시 파일을 블록으로 분할

파일 위치 정보를 얻기 위해 namenode와 상호작용

데이터노드와 상호작용, 데이터 읽기 또는 쓰기

클라이언트는 hdfs를 관리하는 명령을 제공합니다.

클라이언트는 HDFS에 대한 작업 추가, 삭제, 확인 등 HDFS에 액세스하기 위한 명령을 제공합니다.

nameNode가 작동하도록 지원하고, fsimage를 병합하고, 파일을 편집하고, nameNode에 푸시합니다.

긴급 상황에서 네임노드 복구 지원

hadoop fs -moveFromLocal 로컬 파일 hdfs 디렉토리(로컬 잘라내기 및 hdfs로 복사)

hadoop fs -copyFromLocal 로컬 파일 hdfs 디렉토리(hdfs에 로컬로 복사)

hadoop fs - 로컬 파일 hdfs 디렉토리 넣기(로컬로 복사하고 hdfs에 업로드)

hadoop fs -appendToFile 로컬 파일 hdfs 파일(로컬 파일 데이터가 hdfs 파일 끝에 추가됨)

hadoop fs -copyToLocal hdfs 파일 로컬 디렉토리(로컬에 복사된 파일)

hadoop fs -get hdfs 파일 로컬 디렉토리(로컬에 복사된 파일)

hadoop fs -ls 디렉토리(디렉토리 아래에 정보 표시)

hadoop fs -mkdir 디렉토리(디렉토리 생성)

-chgrp, -chmod, -chown(파일 소유권 수정)

hadoop fs -cat 파일(파일 내용 표시)

hadoop fs -cp 파일 디렉터리(파일을 다른 디렉터리에 복사)

hadoop fs -tail 파일(파일 끝에 1kb의 데이터 표시)

hadoop fs -rm 파일 또는 폴더 삭제

hadoop fs -rm -r 디렉토리 (디렉토리와 디렉토리 아래의 내용을 반복적으로 삭제)

하둡 fs -du

hadoop fs -setrep (레플리카 수를 설정하고 네임노드에만 기록합니다. 데이터노드 수가 설정된 레플리카 수보다 적으면 레플리카 수는 데이터노드만큼만 됩니다.)

hdfs api 작업: FileSystem 개체를 통해

하위 주제 1

삽화

SQL을 추상 구문 트리 AST로 변환합니다. 이 단계는 일반적으로 Antrl과 같은 타사 도구를 사용하여 SAT에서 구문 분석을 수행하여 SQL 의미가 올바른지, 테이블 및 열 이름이 있는지 등을 확인합니다.

AST를 논리적 실행 계획으로 변환

논리적 실행 계획 최적화

논리적 쓰기 저장 계획은 실행 가능한 물리적 실행 계획으로 변환됩니다. Hive의 경우 mr/tez/spark 작업으로 변환됩니다.

테이블 테스트 생성( 이름 문자열, 친구 배열<string>, 하위 맵<string, int>, 주소 구조체<거리:문자열, 도시:문자열> ) ',' //열 구분 기호로 끝나는 행 형식 구분 필드 '_'로 끝나는 컬렉션 항목 //MAP STRUCT 및 ARRAY의 구분 기호(데이터 분할 상징) ':'으로 끝나는 맵 키 //키와 값 구분 기호 매핑 //줄 구분 기호로 끝나는 줄;

1. 모든 정수 유형은 암시적으로 더 넓은 유형으로 변환될 수 있습니다. 예를 들어 TINYINT는 변환될 수 있습니다. INT로 대체되면 INT를 BIGINT로 변환할 수 있습니다.

2. 모든 정수 유형, FLOAT 및 STRING 유형은 암시적으로 DOUBLE로 변환될 수 있습니다. (String과 double의 암시적 변환으로 인해 데이터 왜곡이 쉽게 발생할 수 있습니다.)

3.TINYINT, SMALLINT, INT는 모두 FLOAT로 변환될 수 있습니다.

4. BOOLEAN 유형은 다른 유형으로 변환될 수 없습니다.

(1) CREATE TABLE은 지정된 이름의 테이블을 생성합니다. 동일한 이름의 테이블이 이미 존재하는 경우 예외가 발생합니다. 사용자는 IF NOT EXISTS 옵션을 사용하여 이 예외를 무시할 수 있습니다. (2) EXTERNAL 키워드를 사용하면 테이블을 생성할 때 실제 데이터에 대한 경로(LOCATION)를 지정할 수 있으며, 테이블이 삭제되면 내부 테이블의 메타데이터와 데이터도 함께 삭제됩니다. , 외부 테이블은 데이터가 아닌 메타데이터만 삭제합니다. (3) COMMENT: 테이블과 컬럼에 설명을 추가합니다. (4) PARTITIONED BY는 파티션 테이블을 생성합니다. (5) CLUSTERED BY는 버킷 테이블을 생성합니다. (6) SORTED BY는 일반적으로 버킷에 있는 하나 이상의 열을 정렬하는 데 사용됩니다. (7) ROW FORMAT DELIMITED [FIELDS TERMINATED BY char] [컬렉션 항목 문자로 종료됨] [MAP KEYS TERMINATED BY 문자] [LINES TERMINATED BY 문자] | SERDE serde_name [SERDEPROPERTIES 포함(property_name=property_value, property_name=property_value, ...)] 사용자는 SerDe를 사용자 정의하거나 테이블을 생성할 때 내장된 SerDe를 사용할 수 있습니다. ROW FORMAT 또는 ROW FORMAT DELIMITED가 지정되지 않은 경우 내장된 SerDe가 사용됩니다. 테이블을 생성할 때 사용자는 테이블의 열을 지정해야 하며 Hive는 SerDe를 사용하여 결정합니다. 지정된 테이블의 특정 열 데이터입니다. SerDe는 Serialize/Deserilize의 약어입니다. Hive는 Serde를 사용하여 행 개체의 순서를 지정하고 역직렬화합니다. (8) STORED AS는 저장 파일 유형을 지정합니다. 일반적으로 사용되는 저장 파일 유형은 SEQUENCEFILE(바이너리 시퀀스 파일), TEXTFILE(텍스트), RCFILE(열 저장 형식 파일)입니다. TEXTFILE. 데이터를 압축해야 하는 경우 STORED AS SEQUENCEFILE을 사용하세요. (9) LOCATION: HDFS에 테이블이 저장되는 위치를 지정한다. (10) AS: 쿼리 결과를 기반으로 테이블을 생성하는 쿼리 문이 뒤에 옵니다. (11) LIKE를 사용하면 사용자가 기존 테이블 구조를 복사할 수 있지만 데이터는 복사할 수 없습니다.

테이블에 삽입(덮어쓰기) ...

테이블 이름에서 테이블 t1에 삽입 .... tableName에서 ....를 선택하고, 테이블 t2에 삽입 .... tableName에서 .... 선택

버킷 필드는 해시 모듈러스의 모듈러스를 버킷 수로 나누어 계산하여 데이터가 어느 버킷에 있는지 결정합니다.

파티셔닝은 데이터 저장 경로를 위한 것입니다. 즉, 버킷팅은 데이터 파일을 위한 것입니다.

문법

SQL 구현

SQL 구현

1. 2017년 4월 구매 고객 및 총 고객 수를 조회합니다.

2. 고객의 구매 내역 및 월간 구매 총액 확인

3. 위 시나리오에서는 날짜별로 비용이 누적되어야 합니다.

4. 각 고객의 마지막 구매 시간을 쿼리합니다.

5. 이전 20% 시간의 주문 정보를 조회합니다.

특징: 하나에 하나, 하나에 하나

프로그래밍 단계

더 많이 들어가고 하나는 나옴

집계 함수

하나가 들어와 다수가 나옴

측면도 폭발()

텍스트 파일, 쪽모이 세공 마루, 오크, 시퀀스 파일

행 저장

컬럼 보관

hive-default.xml.template 파일에서 hive.fetch.task.conversion = more를 설정합니다.

켜면 전역 검색, 제한 검색, 필드 검색에서는 mr 작업을 사용하지 않습니다.

set hive.exec.mode.local.auto=true; //로컬 mr 활성화

작은 테이블을 앞에 배치하고 큰 테이블을 뒤에 배치하면 메모리 오버플로 오류 가능성을 효과적으로 줄일 수 있습니다. 이제 최적화되었으므로 작은 테이블을 앞에 배치하고 큰 테이블을 뒤에 배치해도 효과가 없습니다.

맵 조인 활성화 설정

맵 조인 원리

1. 빈 키 필터링

2. 빈 키 변환

지도 측 집계 활성화

매개변수 설정

작은 데이터는 중요하지 않습니다

대용량 데이터

데카르트 곱을 피하고, 조인 시 조건을 추가하지 마세요. Hive는 하나의 감속기만 사용하여 데이터를 처리할 수 있습니다.

컬럼 처리

행 처리

동적 파티션 설정 활성화

set hive.exec.parallel=true; //작업의 병렬 실행 활성화 set hive.exec.parallel.thread.number=16; //동일한 SQL에 허용되는 최대 병렬 처리 수준, 기본값은 8입니다.

애플리케이션 시스템의 사용자 경험(효율성)을 향상시키기 위해 많은 양의 전처리가 사용되므로 소스 비즈니스 시스템의 비즈니스 규칙이 변경되면 계층화 없이 데이터 웨어하우스에 대량의 중복 데이터가 있게 됩니다. 전체 데이터 정리 프로세스에 영향을 미치며 작업량은 엄청납니다.

원래의 한 단계 작업을 여러 단계로 나누는 것은 복잡한 작업을 여러 개의 간단한 작업으로 나누고 큰 블랙 박스를 화이트 박스로 만드는 것과 같기 때문에 데이터 계층적 관리를 통해 데이터 정리 과정을 단순화할 수 있으며, 각 계층의 처리 논리는 비교적 간단하고 이해하기 쉽습니다. 따라서 각 단계의 정확성을 더 쉽게 확인할 수 있습니다. 데이터에 오류가 발생하면 특정 단계만 부분적으로만 조정하면 됩니다.

원본 데이터에 그대로 액세스

DWD(Data Warehouse Detail) 데이터 세부 레이어

DWM(Data Warehouse Middle) 데이터 중간 계층

DWS(Data Warehouse Service) 데이터 서비스 계층

APP 데이터 애플리케이션 레이어

차원 테이블이 있는 경우 이 레이어를 별도로 디자인할 수 있습니다.

높은 카디널리티 데이터

낮은 기본 둘레 데이터

중요성

사실 테이블

차원 테이블

스타 스키마

별자리 모델

눈송이 모델

차원 모델링 프로세스

데이터베이스의 6가지 패러다임

모델링 단계

설계, 개발, 배포 및 응용 수준에서 반복 구성 및 중복 인덱스 구성을 방지하여 데이터 수준의 표준화 및 통일을 보장하고 궁극적으로 데이터 자산의 풀 링크 연결을 실현하여 표준 데이터 출력 및 통합 데이터를 제공합니다. 공개 레이어

클라이언트의 요청을 받아 쿼리를 실행하고 중앙 조정 지점으로 돌아갑니다.

하위 노드의 데몬 프로세스는 Statestore와의 통신을 유지하고 작업을 보고하는 역할을 담당합니다.

각 임팔라드 프로세스에서 배포되는 리소스 정보, 각 노드의 Health 상태 수집, 노드 정보 동기화를 담당합니다.

쿼리 조정 및 예약을 담당합니다.

각 임팔라드에 테이블 메타데이터 정보를 배포합니다.

Statestore에서 모든 요청을 받습니다.

데이터베이스 삭제

임팔라는 데이터베이스 변경을 지원하지 않습니다.

–a. 전체 데이터를 클라이언트로 보내지 마십시오.

–b. 조건부 필터링을 최대한 수행합니다.

–c.한도 조항을 사용하십시오.

–d.파일을 출력할 때 미화된 출력을 사용하지 마십시오.

–e 전체 메타데이터 새로 고침을 덜 사용해 보십시오.

특징:

특징

값 유형

이중 값 유형

키/값 유형

행동

원사 클라이언트

원사 클러스터

HBase 액세스를 위한 인터페이스를 포함하고 HBase 액세스 속도를 높이기 위한 캐시도 포함합니다. 예를 들어 캐시에는 .META 정보가 포함되어 있습니다.

마스터의 고가용성, reginserver 모니터링, 메타데이터 입력 및 클러스터 구성 유지 관리를 주로 담당합니다.

HBase에 대한 기본 데이터 스토리지 서비스 제공

메타데이터 및 테이블 데이터에 대한 기본 분산 스토리지 서비스 제공

다수의 데이터 사본으로 높은 신뢰성과 가용성 보장

RegionServer에 지역 할당

클러스터 전반에 걸쳐 로드 밸런싱 유지

클러스터 메타데이터 정보 유지

실패한 Region을 발견하고 실패한 Region을 일반 RegionServer에 할당합니다.

RegionSever가 실패하면 해당 Hlog의 분할을 조정합니다.

주로 사용자의 읽기 및 쓰기 요청을 처리합니다.

마스터가 할당한 Region 관리

클라이언트의 읽기 및 쓰기 요청 처리

기본 HDFS와 상호 작용하고 HDFS에 데이터를 저장하는 일을 담당합니다.

지역이 커진 후 지역 분할을 담당합니다.

Storefile 병합을 담당합니다.

1. 지역 서버 모니터링

2. RegionServer 장애 조치 처리

삼. 메타데이터 변경 처리

4. 지역 할당 또는 이전 처리

5. 유휴 시간 동안 데이터 로드 밸런싱

6. Zookeeper를 통해 고객에게 위치를 게시하세요.

1. HBase의 실제 데이터를 저장하는 역할을 담당합니다.

2. 할당된 Region을 처리합니다.

삼. 캐시를 HDFS로 플러시

4. Hlog 유지

5. 압축 수행

6. 지역 조각화 처리를 담당합니다.

미리 쓰기 로그(월)

지역

가게

멤스토어

H파일

nosql 데이터베이스와 마찬가지로 rowkey는 데이터 액세스를 위한 기본 키입니다. HBase 행에 액세스하는 세 가지 방법이 있습니다.

열 계열: HBASE 테이블의 각 열은 특정 열 계열에 속합니다. 열 패밀리는 테이블 스키마의 일부이며(열은 아님) 테이블을 사용하기 전에 정의해야 합니다. 열 이름 앞에는 열 계열이 붙습니다. 예를 들어,courses:history 및courses:math는 모두 코스 열 패밀리에 속합니다.

{rowkey, 열 제품군:columu, 버전}으로 고유하게 식별되는 단위입니다. 셀의 데이터는 유형이 없으며 모두 바이트코드 형식으로 저장됩니다.

HBase에서는 행키(rowkey)와 열(column)에 의해 결정되는 저장 단위를 셀(cell)이라고 합니다. 각 셀은 동일한 데이터의 여러 버전을 저장합니다. 버전은 타임스탬프를 기준으로 색인이 생성됩니다. 타임스탬프 유형은 64비트 정수입니다. 타임스탬프는 HBASE에 의해 할당될 수 있습니다(데이터가 기록될 때 자동으로). 이 경우 타임스탬프는 밀리초 단위로 정확한 현재 시스템 시간입니다. 타임스탬프는 클라이언트가 명시적으로 할당할 수도 있습니다. 애플리케이션이 데이터 버전 충돌을 피하려면 고유한 타임스탬프를 생성해야 합니다. 각 셀에는 다양한 버전의 데이터가 역시간순으로 정렬됩니다. 즉, 최신 데이터가 먼저 나열됩니다. 너무 많은 데이터 버전으로 인해 발생하는 관리(저장 및 인덱싱 포함) 부담을 피하기 위해 HBASE는 두 가지 데이터 버전 재활용 방법을 제공합니다. 하나는 마지막 n 버전의 데이터를 저장하는 것이고, 다른 하나는 최근 기간(예: 지난 7일) 내의 버전을 저장하는 것입니다. 사용자는 각 컬럼 패밀리에 대해 이를 설정할 수 있습니다.

네임스페이스 구조

1) 클라이언트는 먼저 Zookeeper에 접속하여 메타 테이블에서 해당 영역의 위치를 ​​읽은 후 메타 테이블의 데이터를 읽습니다. 메타는 사용자 테이블의 지역 정보도 저장합니다.

2) 네임스페이스, 테이블 이름, rowkey를 기준으로 메타 테이블에서 해당 지역 정보를 찾습니다.

3) 이 지역에 해당하는 지역 서버를 찾습니다.

4) 해당 지역을 찾으세요.

5) 먼저 MemStore에서 데이터를 찾고, 그렇지 않은 경우 BlockCache에서 읽습니다.

6) BlockCache를 아직 사용할 수 없으면 StoreFile에서 읽습니다(읽기 효율성을 위해).

7) StoreFile에서 데이터를 읽어오면 바로 클라이언트로 반환되지 않고 BlockCache에 먼저 쓴 후 클라이언트로 반환됩니다.

1) 클라이언트가 HregionServer에 쓰기 요청을 보냅니다.

2) HregionServer는 HLog(로그 미리 쓰기)에 데이터를 씁니다. 데이터 지속성 및 복구를 위해;

3) HregionServer는 메모리(MemStore)에 데이터를 씁니다.

4) 클라이언트가 성공적으로 작성되었다는 피드백.

1) MemStore 데이터가 임계값(기본값은 128M, 이전 버전은 64M)에 도달하면 데이터가 하드 디스크로 플러시되고 메모리의 데이터가 삭제되며 HLog의 기록 데이터가 삭제됩니다.

2) 그리고 데이터를 HDFS에 저장합니다.

3) HLog에 마크 포인트를 만듭니다.

1) 데이터 블록 수가 4에 도달하면 Hmaster는 병합 작업을 트리거하고 Region은 병합을 위해 데이터 블록을 로컬로 로드합니다.

2) 병합된 데이터가 256M을 초과하는 경우 데이터를 분할하고 분할된 지역을 다른 HregionServer 관리에 할당합니다.

3) HregionServer가 다운되면 HregionServer에서 hlog를 분할한 다음 이를 다른 HregionServer에 할당하여 로드하고 .META를 수정합니다.;

4) 참고: HLog는 HDFS에 동기화됩니다.

hive-hbase-handler-1.2.2.jar을 통해 통합됨

Hive 테이블을 생성하고 이를 HBase 테이블과 연결한 다음 HBase 테이블에 영향을 주면서 Hive 테이블에 데이터를 삽입합니다.

HBase에 hbase_emp_table 테이블이 저장되어 있고, HBase에 있는 hbase_emp_table 테이블을 연결하기 위해 Hive에 외부 테이블이 생성되어 Hive를 사용하여 HBase 테이블의 데이터를 분석할 수 있습니다.

HBase에서 Hmaster는 RegionServer의 수명 주기를 모니터링하고 다음과 같이 RegionServer의 로드 균형을 조정하는 역할을 담당합니다. Hmaster가 끊기면 전체 HBase 클러스터가 비정상 상태가 되며 이때의 작동 상태는 동일하지 않게 됩니다. 너무 오래 지속됩니다. 따라서 HBase는 Hmaster의 고가용성 구성을 지원합니다.

수동으로 사전 분할

16진수 시퀀스 사전 파티션 생성

파일에 설정된 규칙에 따라 사전 분할

javaAPI가 파티션을 생성합니다.

Rowkey는 데이터 조각의 고유 식별자입니다. 데이터 왜곡을 방지하려면 rowkey가 지역에 고르게 분산되도록 적절하게 디자인해야 합니다.

1. 난수, 해시, 해시 값 생성

2. 문자열 반전

3. 문자열 연결

HBase는 동작 중에 많은 메모리 오버헤드가 필요합니다. 결국 테이블은 메모리에 캐시될 수 있습니다. 일반적으로 사용 가능한 전체 메모리의 70%가 HBase의 Java 힙에 할당됩니다. 그러나 너무 큰 힙 메모리를 할당하는 것은 권장되지 않습니다. GC 프로세스가 너무 오랫동안 계속되면 RegionServer가 장기간 사용할 수 없는 상태가 되기 때문입니다. 일반적으로 16~48G 메모리이면 충분합니다. 프레임워크가 차지하는 메모리가 너무 높아 시스템 메모리가 부족하면 프레임워크도 시스템 서비스에 의해 종료됩니다.

1. HDFS 파일에 콘텐츠 추가 허용

2. DataNode에서 허용하는 최대 열린 파일 수를 최적화합니다.

3. 높은 대기 시간으로 데이터 작업의 대기 시간을 최적화합니다.

4. 데이터 쓰기 효율성 최적화

5. RPC 리스너 수 설정

6. HStore 파일 크기 최적화

7. hbase 클라이언트 캐시 최적화

8. HBase에서 얻은 행 수를 스캔하려면 scan.next를 지정하십시오.

9. 플러시, 컴팩트, 분할 메커니즘