원래 입력에서 출력 대상으로의 데이터 흐름은 여러 선형 또는 비선형 구성 요소를 통과합니다. 각 구성 요소는 정보를 처리하고 결과적으로 후속 구성 요소에 영향을 미칩니다.

최종적으로 출력을 얻었을 때 각 구성 요소가 얼마나 기여하는지 정확히 알 수 없습니다. 이 질문을 기여라고 합니다. 할당 문제.

기여도 할당 문제는 각 구성 요소의 매개 변수를 어떻게 학습할지와 관련된 매우 중요한 문제입니다.

스마트 컨셉

인공 지능 개념

인공지능의 주체 위치

뇌과학과 인지과학의 학제간 연구

지능형 시뮬레이션 방법 및 기술 연구

지각: 즉, 외부 자극 정보(시각 및 음성 등)를 인지하고 처리하는 인간의 지각 능력을 시뮬레이션합니다. 주요 연구분야는 음성정보처리와 컴퓨터비전 등이다.

학습: 인간의 학습 능력을 시뮬레이션하며 주로 사례를 통해 학습하거나 환경과 상호 작용하는 방법을 연구합니다. 주요 연구 분야로는 지도 학습, 비지도 학습, 강화 학습이 있습니다.

인지: 인간의 인지 능력을 시뮬레이션합니다. 주요 연구 분야에는 지식 표현, 자연어 이해, 추론, 계획, 의사 결정 등이 포함됩니다.

상징주의

연결주의

행동주의

제안된 모델

빙하 시대

역전파 알고리즘으로 인한 르네상스

인기 하락

딥러닝의 등장

노이즈 제거 등 데이터 전처리 후 예를 들어 텍스트 분류에서 불용어 제거 등이 있습니다.

원시 데이터에서 몇 가지 효과적인 특징을 추출합니다. 예를 들어 이미지 분류에서는 가장자리 추출, SIFT(Scale Invariant Feature Transform) 기능 등이 있습니다.

차원 축소 및 차원 향상과 같은 기능에 대한 특정 처리를 수행합니다. 차원 축소에는 특징 추출과 특징 선택이라는 두 가지 접근 방식이 포함됩니다. 일반적으로 사용되는 특징 변환 방법에는 주성분 분석(PCA), 선형 판별 분석(선형 판별 분석) 등이 있습니다.

머신러닝의 핵심, 함수를 통한 예측

현지 대표

분산 표현

'얕은 학습'과 달리 딥러닝이 해결해야 할 핵심 문제는 기여도 분배다.

어떤 의미에서는 딥러닝도 일종의 강화학습(RL)이라고 볼 수 있는데, 각 내부 구성요소는 직접 감독 정보를 얻을 수 없고, 전체 모델의 최종 감독 정보(보상)를 통해 얻어야 하며, 특정 지연.

신경망 모델은 기여 분포 문제를 더 잘 해결할 수 있는 오류 역전파 알고리즘을 사용할 수 있습니다.

전통적인 학습 스타일

새로운 학습 방식

Theano: Theano 프로젝트를 효율적으로 정의, 최적화 및 실행하는 데 사용되는 몬트리올 대학의 Python 툴킷은 현재 유지 관리가 종료되었습니다. 다차원 배열 데이터는 수학적 표현에 해당합니다. Theano는 GPU와 효율적인 기호를 투명하게 사용할 수 있습니다. 미분.

Caffe: 전체 이름은 Convolutional Architecture for Fast Feature Embedding입니다. 구현할 네트워크 구조는 구성 파일에서 지정할 수 있으며 코딩이 필요하지 않습니다. Caffe는 C와 Python으로 구현되었으며 주로 컴퓨터 비전에 사용됩니다.

TensorFlow: Google이 개발한 Python 툴킷으로 CPU 또는 GPU가 있는 모든 기기에서 실행될 수 있습니다. TensorFlow의 계산 과정은 데이터 흐름 그래프를 사용하여 표현됩니다. Tensor Flow의 이름은 계산 과정에서 연산 객체가 다차원 배열, 즉 텐서라는 사실에서 유래되었습니다.

Chainer: 동적 컴퓨팅 그래프를 사용하는 최초의 신경망 프레임워크 중 하나입니다. 핵심 개발 팀은 일본의 기계 학습 스타트업인 Preferred Networks입니다. Tensorflow, Theano, Caffe 및 기타 프레임워크에서 사용되는 정적 계산 그래프와 비교하여 동적 계산 그래프는 런타임에 계산 그래프를 동적으로 구성할 수 있으므로 일부 복잡한 의사 결정 또는 추론 작업에 매우 적합합니다.

PyTorch5: Facebook, NVIDIA, Twitter 및 기타 회사에서 개발하고 유지 관리하는 딥 러닝 프레임워크로, 그 전신은 Lua 언어의 Torch6입니다. PyTorch는 동적 컴퓨팅 그래프를 기반으로 한 프레임워크이기도 하며, 신경망 구조를 동적으로 변경해야 하는 작업에서 확실한 이점을 제공합니다.

신경망은 행렬 연산을 사용하여 효율적으로 구현할 수 있습니다.

아핀 레이어

신원 기능

소프트맥스 함수

분류 문제

여러 데이터 세트를 한 번에 입력

최적의 매개변수(가중치 및 편향)를 찾을 때 손실 함수의 값을 최대한 작게 만드는 매개변수를 찾고 있으므로 매개변수의 미분(정확하게는 기울기)을 계산해야 합니다.

인식 정확도를 지표로 직접 활용하면 어떨까요?

평균 제곱 오차

교차 엔트로피 오류

일부 테스트 데이터 추출

수동 설정

얻은 훈련

가중치 매개변수에 대한 손실 함수의 기울기

사이클 수/미니배치 크기

노란색의 양은 역전파 중에 얻은 값입니다.

녹색 수량은 알려진 수량입니다.

완전 연결 계층(Affine 계층) 기반 네트워크

CNN 기반 네트워크

컨볼루션[컨볼루션 레이어]-ReLU-(풀링[풀링 레이어])

출력에 가까운 레이어는 이전 Affine [affine 변환] - ReLU 조합을 사용합니다.

최종 출력 레이어는 이전 Affine-Softmax 조합을 사용합니다.

완전 연결 계층의 문제

컨볼루션 연산

상관관계

컨볼루션의 변형

컨볼루션의 수학적 특성

3D 데이터에 대한 컨볼루션 연산

다중 컨볼루션 작업

일괄 처리

로컬 연결: 컨벌루션 레이어(l번째 레이어로 가정)의 각 뉴런은 다음 레이어(l-1 레이어)의 로컬 윈도우에 있는 뉴런에만 연결되어 로컬 연결 네트워크를 형성합니다. 컨벌루션 레이어와 다음 레이어 사이의 연결 수는 원래 n(l) × n(l - 1) 연결에서 n(l) × m 연결로 크게 감소합니다. m은 필터 크기입니다.

가중치 공유: 매개변수인 필터 w(l)는 레이어 l의 모든 뉴런에 대해 동일합니다.

로컬 연결과 가중치 공유로 인해 컨벌루션 레이어의 매개변수는 m차원 가중치 w(l)와 1차원 편향 b(l)만 가지며 총 m1개의 매개변수가 있습니다.

레이어 l의 뉴런 수는 임의로 선택되지 않고 n(l) = n(l−1) − m 1을 만족합니다.

최대값: 일반적으로 한 영역에 있는 모든 뉴런의 최대값을 취합니다.

평균 집계(Mean): 일반적으로 해당 영역의 모든 뉴런의 평균값을 취합니다.

여기서 Y(′d)는 풀링 계층의 출력이고, f(·)는 비선형 활성화 함수이고, w(d)와 b(d)는 학습 가능한 스칼라 가중치 및 편향입니다.

학습할 매개변수가 없습니다.

채널 수는 변하지 않습니다

작은 위치 변경에도 견고함(견고함)

학습 전 필터는 무작위로 초기화되므로 흑백 음영의 패턴은 없으나, 학습 후 필터는 일반 이미지가 됩니다. 우리는 학습을 통해 필터가 흰색에서 검은색으로 그라데이션되는 필터, 블록 영역(블롭이라고 함)을 포함하는 필터 등과 같은 일반 필터로 업데이트된다는 것을 발견했습니다. 수평 및 수직 가장자리에 반응하는 필터

컨볼루셔널 레이어의 필터가 에지나 패치와 같은 원본 정보를 추출하는 것을 볼 수 있습니다. 방금 구현된 CNN은 이 원시 정보를 후속 레이어에 전달합니다.

CNN의 컨볼루션 레이어에서 추출된 정보입니다. 레이어 1의 뉴런은 가장자리나 패치에 반응하고, 레이어 3은 텍스처에 반응하고, 레이어 5는 객체 부분에 반응하고, 마지막 완전 연결 레이어는 객체 범주(개 또는 자동차)에 반응합니다.

여러 컨볼루셔널 레이어를 쌓으면 레이어가 깊어질수록 추출된 정보가 더욱 복잡해지고 추상화됩니다. 이는 딥러닝에서 매우 흥미로운 부분입니다. 층이 깊어짐에 따라 뉴런은 단순한 모양에서 "상위 수준" 정보로 변경됩니다. 즉, 우리가 사물의 '의미'를 이해하는 것처럼, 반응의 대상도 점차 변해간다.

LeNet은 1998년에 필기 숫자 인식을 위한 네트워크로 제안되었습니다. 연속적인 Convolutional Layer와 Pooling Layer를 가지고 최종적으로 Fully Connected Layer를 통해 결과를 출력합니다.

입력 레이어를 제외하면 LeNet-5에는 총 7개의 레이어가 있습니다.

테이블 조인

2012년에 제안되었으며 최신 심층 합성곱 네트워크의 다양한 기술 방법을 사용합니다.

Inception 모듈: 컨볼루션 레이어에는 다양한 크기의 여러 컨볼루션 작업이 포함되어 있습니다.

Inception 네트워크는 여러 개의 inception 모듈과 소수의 집계 레이어로 구성됩니다.

V1 버전

Inception 네트워크의 초기 v1 버전은 매우 유명한 GoogLeNet[Szegedy et al., 2015]이며 2014 ImageNet 이미지 분류 대회에서 우승했습니다.

비선형 컨벌루션 레이어에 직접 에지를 추가하면 정보 전파 효율성이 향상됩니다.

비선형 요소

더 깊은 네트워크를 향해 나아가다

인식 정확도 더욱 향상

더 깊은 동기부여

ILSVRC 대회

VGG

구글르넷

레스넷

해결해야 할 문제

GPU 기반 속도 향상

분산 학습

산술 정밀도의 자릿수 감소

객체 감지

이미지 분할

이미지 캡션 생성

이미지 스타일 변환

이미지 생성

자동 조종 장치

강화 학습

동의어 사전 기반 접근 방식

개수 기반 접근 방식

추론 기반 접근 방식(word2vec)

각 단어의 의미에 따른 상하위어 관계를 바탕으로 한 다이어그램

가장 유명한 동의어 사전

효과

NLTK 모듈을 통해 사용됨

새로운 단어가 계속해서 등장해 시대변화에 적응하기 어렵다

높은 인건비

미묘한 차이를 말로 표현하지 못함

코퍼스는 대량의 텍스트 데이터입니다.

자연어 처리 분야에서 사용되는 말뭉치는 때때로 텍스트 데이터에 추가 정보를 추가합니다. 예를 들어, 텍스트 데이터의 각 단어를 품사로 표시할 수 있습니다. 여기서는 우리가 사용하는 말뭉치에 태그가 추가되지 않았다고 가정합니다.

유명한 말뭉치

전처리

단어 영역에서 간결하고 합리적인 벡터 표현 구성

단어의 의미는 그것을 둘러싸고 있는 단어들에 의해 형성된다

문맥은 중심 단어를 둘러싼 단어를 나타냅니다.

컨텍스트의 크기를 창 크기라고 합니다.

벡터를 사용하는 가장 간단한 방법은 벡터 주위에 단어가 몇 번 나타나는지 계산하는 것입니다.

text = '당신이 작별인사를 하면 나도 인사합니다.'

창 크기를 1로 설정

코사인 유사성

쿼리 단어의 단어 벡터를 가져옵니다.

쿼리 단어의 단어 벡터와 다른 모든 단어 벡터 간의 코사인 유사성을 각각 구합니다.

코사인 유사성을 기반으로 한 결과로 해당 값을 내림차순으로 표시합니다.

동시 발생 행렬에서 the와 같은 일반적인 단어는 car와 같은 명사와 강한 상관 관계가 있는 것으로 간주됩니다.

PMI

동시 발생 매트릭스 기반 PMI

불충분하다

동시 발생 행렬을 기반으로 PPMI 행렬 가져오기

데이터의 분포를 관찰하고 중요한 "축"을 찾아야 합니다.

특이값 분해(SVD)

PTB 코퍼스는 제안된 방법을 평가하기 위한 벤치마크로 자주 사용됩니다.

PTB 코퍼스 전처리

내가 한 전처리

초매개변수 할당

검색어 you의 경우 i, we 등의 인칭대명사가 문법상 동일한 용법을 가진 단어들임을 알 수 있습니다.

검색어 연도에는 월, 분기 등의 동의어가 있습니다.

검색어 car에는 auto 및 vehicle과 같은 동의어가 있습니다.

도요타를 검색어로 사용하면 자동차 제조사명이나 닛산, 혼다, 렉서스 등의 브랜드명이 등장했다.

코퍼스를 사용하여 문맥의 단어 수를 계산하고 이를 PPMI 행렬로 변환한 다음 SVD 차원 감소를 기반으로 좋은 단어 벡터를 얻습니다.

현실 세계에서 말뭉치는 매우 많은 수의 단어를 처리합니다. 예를 들어, 영어 어휘에는 100만 개가 넘는 단어가 있다고 합니다. 어휘 크기가 100만 개를 초과하는 경우 개수 기반 방법을 사용하려면 100만 × 100만 개의 거대한 행렬을 생성해야 하지만 이러한 큰 행렬에 대해 SVD를 수행하는 것은 분명히 비현실적입니다.

신경망을 사용한 추론 기반 접근 방식

표적

추론 방법

단어를 벡터로 변환

신경망

구조

특징

Softmax 함수를 사용하여 점수를 확률로 변환

이러한 확률과 지도 라벨 간의 교차 엔트로피 오류를 찾습니다.

손해로 배워라

W(in) 가중치는 우리가 원하는 단어의 분포 표현입니다.

wt−1 및 wt 1이 발생한 후에 wt가 발생할 확률입니다.

CBOW 모델의 손실 함수 L(음의 로그 우도)

word2vec에는 두 가지 모델이 있습니다

스킵그램(Skip-gram)은 CBOW 모델에서 처리한 문맥과 타겟 단어를 반전시키는 모델이다.

스킵그램 네트워크 구조 다이어그램

스킵그램 모델과 확률

손실 함수 비교

단어 분산 표현의 정확성으로 판단할 때, Skip-grm 모델은 대부분의 경우 더 나은 결과를 제공합니다.

새로운 단어를 어휘에 추가해야 하는 시나리오와 업데이트된 단어의 분산 표현

단어의 분산 표현의 속성

단어의 분산 표현의 정확성

word2vec을 사용하여 얻은 단어의 분산 표현을 사용하여 대략적인 단어를 찾을 수 있습니다.

전이 학습

단어의 분산 표현을 사용하면 문서(단어 시퀀스)를 고정 길이 벡터로 변환하는 것도 가능합니다.

인위적으로 생성된 단어 유사성 평가 세트를 평가합니다.

사람들이 부여한 점수와 word2vec이 부여한 코사인 유사도를 비교하여 이들 사이의 상관성을 조사합니다.

결론적으로

CBOW 모델의 원래 목적인 "문맥에서 타겟 단어를 예측"하는 것이 무엇인가에 사용될 수 있습니까? P(wt|wt−2, wt−1)가 일부 실제 시나리오에서 역할을 할 수 있습니까?

이전에 고려한 창은 모두 대칭이며 왼쪽 창만 고려합니다.

확률을 사용하여 일련의 단어가 발생할 가능성, 즉 단어 순서가 자연스러운 정도를 평가합니다.

확률 표현

마르코프 체인

불충분하다

RNN에는 컨텍스트의 길이에 관계없이 컨텍스트 정보를 기억할 수 있는 메커니즘이 있습니다. 따라서 RNN을 사용하면 임의 길이의 시계열 데이터를 처리할 수 있습니다.

word2vec은 단어의 분산 표현을 얻는 것을 목표로 하는 방법으로, 일반적으로 언어 모델에서는 사용되지 않습니다.

RNN 레이어의 구조

시간 t에서의 입력은 xt이며, 이는 시계열 데이터(x0, x1, ···, xt,···)가 레이어에 입력된다는 것을 의미합니다. 그러면 입력에 해당하는 형태로 출력(h0, h1, ··· , ht, ···)

출력에는 두 개의 포크가 있습니다. 이는 동일한 내용이 복사되었음을 의미합니다. 출력의 분기는 자체 입력이 됩니다.

시계열 데이터의 인덱스(즉, 시간 t의 입력 데이터가 xt임)를 지칭하기 위해 "순간"이라는 단어를 사용합니다. "t번째 단어", "t번째 RNN 레이어" 등의 표현이 사용되는 것은 물론, "시간 t의 단어", "시간 t의 RNN 레이어" 등의 표현도 사용됩니다.

매 순간 RNN 레이어는 두 개의 값을 수신하는데, 이는 이 레이어로 전달된 입력과 이전 RNN 레이어의 출력입니다.

RNN에는 입력 x를 출력 h로 변환하는 가중치 Wx와 이전 RNN 레이어의 출력을 현재 출력으로 변환하는 가중치 Wh라는 두 가지 가중치가 있습니다. 또한 편견이 있습니다. b.

다른 관점에서 보면 RNN은 위의 공식을 통해 지속적으로 업데이트되는 상태 h를 갖습니다. 따라서 h는 은닉 상태 또는 은닉 상태 벡터라고 부를 수 있습니다.

두 가지 개략도 그리기 방법은 동일합니다.

시간 기반 역전파

BPTT를 기반으로 그래디언트를 찾으려면 매 순간 RNN 레이어의 중간 데이터가 메모리에 저장되어야 합니다. 따라서 시계열 데이터가 길어질수록 컴퓨터의 메모리 사용량(계산뿐만 아니라)도 늘어납니다.

위의 문제를 해결하기 위해 긴 시계열 데이터를 처리할 때 네트워크 연결을 적절한 길이로 자르는 것이 일반적인 관행입니다.

시간축 방향으로 너무 긴 네트워크는 적절한 위치에서 잘라서 여러 개의 작은 네트워크를 만든 다음, 잘라낸 작은 네트워크에 대해 오류 역전파 방법을 수행하는 방법을 Truncated BPTT(truncated BPTT)라고 합니다.

Truncated BPTT에서는 네트워크의 역방향 전파 연결이 끊어지지만 순방향 전파 연결은 계속 유지됩니다.

처리순서

입력 데이터 시작 부분에서는 개별 배치 내에서 "오프셋"을 만들어야 합니다.

알아채다

한 번에 T개의 단계를 처리하는 레이어를 "Time RNN 레이어"라고 부릅니다.

Time RNN 레이어에서 단일 단계 처리를 수행하는 레이어를 "RNN 레이어"라고 합니다.

Time RNN과 마찬가지로 시계열 데이터를 전체적으로 처리하는 레이어의 이름은 이 책에서 제시하는 명명 규칙인 "Time"이라는 단어로 시작합니다. 그 후에는 Time Affine 레이어, Time Embedding 레이어 등도 구현하겠습니다.

순방향 전파

역전파

순방향 전파

역전파

RNN 기반 언어 모델을 RNNLM이라고 합니다.

구조

견본

대상 신경망 구조

시간 관계

시간 소프트맥스

입력 데이터는 1입니다.

입력 데이터가 여러 개입니다.

확률이 클수록 좋고, 혼란이 적을수록 좋습니다.

Perplexity는 다음에 선택할 수 있는 옵션의 수를 나타냅니다. 혼동도가 1.25라면 다음 단어의 후보가 1명 정도라는 뜻이다.

위 작업을 클래스로 캡슐화합니다.

세 개의 숨겨진 레이어 h1, h2, h3이 있습니다. 여기서 h1은 두 개의 입력 x1과 x2에서 계산되고, h2는 두 개의 다른 입력 레이어 x3과 x4에서 계산되며, h3은 두 개의 숨겨진 레이어 h1과 h2에서 계산됩니다.

활성화 기능

MatMul(매트릭스 제품) 노드

그래디언트 클리핑(Gradient Clipping)이라는 그래디언트 폭발을 해결하는 확립된 방법이 있습니다.

여기서는 신경망에서 사용하는 모든 매개변수의 기울기가 변수로 통합되어 기호 g로 표시될 수 있다고 가정합니다. 그런 다음 임계값을 임계값으로 설정합니다. 이때, 기울기의 L2 norm g가 임계값보다 크거나 같으면 전술한 바와 같이 기울기를 보정한다.

LSTM은 Long Short-Term Memory의 약자로 단기기억(Short-Term Memory)을 오랫동안 유지할 수 있다는 뜻입니다.

먼저 tanh(h(t−1)*Wh xt*Wx b)의 계산을 직사각형 노드 tanh(ht−1 및 xt는 행 벡터임)로 표현합니다.

LSTM과 RNN의 인터페이스(입력과 출력)를 비교해 보겠습니다.

LSTM과 RNN의 인터페이스 차이점은 LSTM에도 경로 c가 있다는 점입니다. 이 c를 메모리 유닛(혹은 간단히 "유닛")이라고 부르는데, 이는 LSTM의 전용 메모리 부서와 동일합니다.

메모리 유닛의 특징은 LSTM 계층 내에서만 데이터를 주고받는다는 점이다. 즉, LSTM의 출력을 받는 쪽에서는 LSTM의 출력이 은닉 상태 벡터 h만을 갖게 된다. 메모리 유닛 c는 외부 세계에 보이지 않으며, 그 존재를 고려할 필요조차 없습니다.

ct는 t 시점에 LSTM의 메모리를 저장하는데, 이는 과거부터 t 시점까지 필요한 모든 정보를 담고 있다고 볼 수 있다. 그러면 이 캐리어 메모리의 ct에 기초하여 숨겨진 상태 ht가 출력됩니다.

계산하다

문

은닉 상태 ht는 메모리 유닛 ct에만 tanh 함수를 적용하고, tanh(ct)에는 게이트 적용을 고려합니다. 이 게이트는 다음 은닉 상태 ht의 출력을 관리하므로 출력 게이트라고 부른다.

출력 게이트는 다음과 같이 계산됩니다. 시그모이드 함수는 σ()로 표현됩니다.

ht는 o와 tanh(ct)의 곱으로 계산할 수 있으며, 계산 방법은 해당 요소의 곱인 요소별 곱(Hadamard product)이라고도 합니다.

이제 메모리 단위 c(t-1)에 불필요한 메모리를 잊기 위한 게이트를 추가합니다. 여기서는 잊어버리기 게이트라고 합니다.

망각 게이트의 계산은 다음과 같습니다

ct는 이 f와 이전 메모리 단위 ct−1의 해당 요소를 곱하여 얻습니다.

이제 우리는 기억해야 할 이 메모리 단위에 몇 가지 새로운 정보를 추가하고 싶습니다. 이를 위해 새로운 tanh 노드를 추가합니다.

tanh 노드를 기반으로 계산된 결과는 이전 순간의 메모리 유닛 ct−1에 추가됩니다.

그림 6-17에서 g에 게이트를 추가합니다. 여기서는 새로 추가된 게이트를 입력 게이트라고 합니다.

입력 게이트는 새로운 정보 g의 각 요소 값을 결정합니다. 입력 게이트는 고려 없이 새로운 정보를 추가하는 것이 아니라 어떤 정보를 추가할지 선택합니다. 즉, 입력 게이트는 가중치가 부여된 새로운 정보를 추가합니다.

입력 게이트는 다음과 같이 계산됩니다.

메모리 셀의 역전파는 " " 및 "×" 노드를 통해서만 흐릅니다. " "노드는 상류측에서 그래디언트가 그대로 흘러나오기 때문에 그래디언트가 변하지(축퇴) 않습니다. "×" 노드의 계산은 행렬 곱이 아니라 해당 요소의 곱(하다마 곱)이므로 기울기 변화가 발생하지 않습니다.

LSTM 계층을 심화하는 것(여러 LSTM 계층을 쌓는 것)이 종종 잘 작동합니다.

몇 개의 레이어가 적합합니까?

깊이를 깊게 하면 표현력이 더 뛰어난 모델을 만들 수 있지만 이러한 모델은 종종 과적합으로 인해 어려움을 겪습니다. 설상가상으로 RNN은 기존 피드포워드 신경망보다 과적합에 더 취약하므로 RNN에 대한 과적합 대책이 매우 중요합니다.

대책

탈락

드롭아웃 레이어 삽입 위치

무게 묶음은 말 그대로 "무게 묶기"로 번역될 수 있습니다.

Embedding 레이어와 Affine 레이어의 가중치를 바인딩(공유)하는 방법은 가중치 공유입니다. 이 두 레이어 간에 가중치를 공유하면 학습되는 매개변수의 수가 크게 줄어들 수 있습니다. 게다가 정확도도 향상됩니다.

확률이 가장 높은 단어를 선택하면 결과가 고유하게 결정됩니다.

확률이 높은 단어는 선택하기 쉽고, 확률이 낮은 단어는 선택하기 어렵습니다.

더 나은 언어 모델 사용

이 모델에는 인코더와 디코더라는 두 가지 모듈이 있습니다. 인코더는 입력 데이터를 인코딩하고 디코더는 인코딩된 데이터를 디코딩합니다.

seq2seq는 두 개의 LSTM 레이어인 인코더 LSTM과 디코더 LSTM으로 구성됩니다.

LSTM의 은닉 상태 h는 고정 길이 벡터입니다. 이전 섹션의 모델과 차이점은 LSTM 레이어가 벡터 h를 수신한다는 것입니다. 이 하나의 작은 변화를 통해 일반 언어 모델이 번역을 처리할 수 있는 디코더로 발전할 수 있었습니다.

덧셈 계산을 수행하기 위해 seq2seq를 얻으려고 합니다.

충전재

대부분의 경우 이 기술을 사용한 후 학습이 더 빠르게 진행되고 최종 정확도가 향상됩니다.

직관적으로 데이터를 반전시킨 후 경사 전파가 더 부드럽고 더 효과적일 수 있습니다.

헬멧을 사용한 인코더를 Peeky Decoder라고 하고, Peeky Decoder를 사용한 seq2seq를 Peeky seq2seq라고 합니다.

인코더는 입력 문장을 디코더에 필요한 모든 정보를 집중시키는 고정 길이 벡터 h로 변환합니다. 이는 디코더에 대한 유일한 정보 소스입니다.

중요한 정보가 집중된 인코더의 출력 h는 디코더의 다른 레이어에 할당될 수 있습니다.

LSTM 레이어와 Affine 레이어에는 두 개의 벡터가 동시에 입력되는데, 이는 실제로 두 벡터의 결합을 나타냅니다.

시계열 데이터를 인코딩하기 위해 seq2seq에서 인코더가 사용되며, 인코딩된 정보는 디코더로 전달됩니다. 이 시점에서 인코더의 출력은 고정 길이 벡터입니다.

고정 길이 벡터는 입력 문의 길이에 관계없이(얼마나 길든) 동일한 길이의 벡터로 변환된다는 의미입니다.

인코더의 출력 길이는 입력 텍스트의 길이에 따라 적절하게 변경되어야 합니다.

인코더는 왼쪽에서 오른쪽으로 처리하기 때문에 엄밀히 말하면 "cat" 벡터에는 "我的人", "は" 및 "猫" 세 단어의 정보만 포함됩니다. 전체적인 밸런스를 고려하면 '고양이'라는 단어 주변의 정보를 골고루 포함하는 것이 가장 좋습니다. 이 경우 양방향 시계열 데이터를 처리하는 양방향 RNN(또는 양방향 LSTM)이 더 효과적입니다.

이전에는 인코더 LSTM 계층의 "마지막" 숨겨진 상태를 디코더 LSTM 계층의 "초기" 숨겨진 상태에 넣었습니다.

이전 장의 디코더는 인코더 LSTM 계층의 마지막 숨겨진 상태만 사용했습니다. hs를 사용하는 경우 마지막 행만 추출되어 디코더에 전달됩니다. 다음으로 우리는 모든 hs를 사용할 수 있도록 디코더를 개선합니다.

우리는 특정 단어(또는 단어 집합)에 초점을 맞추고 언제든지 이 단어를 변환합니다. 이를 통해 seq2seq는 "입력과 출력의 어떤 단어가 어떤 단어와 관련되어 있는지" 사이의 대응 관계를 학습할 수 있습니다.

구조적 변화

계산 방법

가중치 a 학습

통합

전체적인 밸런스를 고려한다면, "cat"이라는 단어에 대한 정보가 벡터에 좀 더 고르게 담길 수 있기를 바랍니다.

양방향 LSTM은 이전 LSTM 레이어 위에 반대 방향으로 처리되는 LSTM 레이어를 추가합니다.

매 순간 두 LSTM 레이어의 히든 상태를 접합하여 최종 히든 상태 벡터로 사용합니다(스플라이싱 외에 "합계" 또는 "평균" 등도 가능).

Attention 레이어의 출력(컨텍스트 벡터)은 다음 순간에 LSTM 레이어의 입력으로 연결됩니다. 이 구조를 통해 LSTM 계층은 컨텍스트 벡터의 정보를 활용할 수 있습니다. 대조적으로, 우리가 구현한 모델은 Affine 레이어에서 컨텍스트 벡터를 사용합니다.

RNN 레이어 심화

잔여 연결

기계 번역의 역사

Google 번역은 2016년부터 실제 서비스에 신경 기계 번역을 사용해 왔습니다. GNMT라는 기계 번역 시스템

GNMT에는 많은 양의 데이터와 컴퓨팅 리소스가 필요합니다. GNMT는 6일 동안 거의 100개의 GPU에서 학습된 대량의 훈련 데이터(1개 모델)를 사용합니다. 또한 GNMT는 8개의 모델을 병렬로 학습할 수 있는 앙상블 학습, 강화 학습 등의 기술을 기반으로 정확도를 더욱 향상시키기 위해 노력하고 있습니다.

RNN은 가변 길이 시계열 데이터를 잘 처리할 수 있습니다. 그러나 RNN에는 병렬 처리 문제 등의 단점도 있습니다.

RNN은 직전 순간의 계산 결과를 바탕으로 단계별로 계산해야 하기 때문에 시간 방향으로 병렬적으로 RNN을 계산하는 것은 (기본적으로) 불가능하다. 이는 GPU를 사용하는 병렬 컴퓨팅 환경에서 딥러닝을 수행할 때 큰 병목 현상이 발생하므로 RNN을 피할 동기가 있습니다.

Transformer는 RNN을 사용하지 않지만 처리를 위해 Attention을 사용합니다. 이 Transformer에 대해 간단히 살펴보겠습니다.

자기 관심

하나의 은닉층과 활성화 함수 ReLU가 있는 완전히 연결된 신경망을 사용합니다. 또한, 그림에서 Nx는 회색 배경으로 둘러싸인 요소들이 N번 쌓여 있다는 의미이다.

NTM(신경 튜링 머신)

신경망은 외부 저장 장치를 사용하여 추가 기능을 얻을 수도 있습니다.

Attention을 기반으로 인코더와 디코더는 컴퓨터에서 "메모리 작업"을 구현합니다. 즉, 인코더는 필요한 정보를 메모리에 쓰고 디코더는 메모리에서 읽는 것으로 해석할 수 있습니다. 필요한 정보를 얻으십시오.

컴퓨터의 메모리 작동을 모방하기 위해 NTM의 메모리 작동은 두 개의 Attention을 사용합니다.

NTM은 장기 기억 문제, 정렬 문제(큰 숫자에서 작은 숫자로 배열) 등을 성공적으로 해결했습니다.

최적화가 어렵고 계산 집약적임

피팅능력이 너무 강해서 오버핏이 되기 쉽습니다.

네트워크 구조의 다양성

저차원 공간의 어려움

고차원 공간의 어려움

경사하강법 유형

학습률 감소

그라데이션 방향 최적화

가우스 초기화 방법은 가장 간단한 초기화 방법입니다. 매개변수는 고정된 평균(예: 0)과 고정된 분산(예: 0.01)을 갖는 가우스 분포에서 무작위로 초기화됩니다.

뉴런의 입력 연결 개수가 n(in)인 경우 입력 연결 가중치는 N(0,sqrt(1/nin))의 가우스 분포로 초기화되도록 설정할 수 있습니다.

출력 연결 개수 nout도 고려하면 N(0,sqrt(2/(nin nout)))의 가우스 분포에 따라 초기화될 수 있습니다.

균일 분포 초기화는 균일 분포를 사용하여 주어진 간격 [-r, r] 내에서 매개변수를 초기화합니다. 하이퍼파라미터 r의 설정은 뉴런의 연결 수에 따라 적응적으로 조정될 수도 있습니다.

활성화 기능 유형

Xavier Glorot 등의 논문에서 권장하는 가중치 초기값을 사용해 보았습니다.

이전 레이어의 노드 수가 n개인 경우 초기값은 표준편차가 (1/sqrt(n))인 가우스 분포를 사용합니다.

활성화 함수가 ReLU를 사용하는 경우 일반적으로 ReLU 전용 초기값을 사용하는 것이 좋습니다. 이는 Kaiming He et al.이 권장하는 초기값으로 "He 초기값"이라고도 합니다.

현재 레이어의 노드 수가 n개일 때 He의 초기값은 표준편차가 (2/sqrt(n))인 가우스 분포를 사용합니다.

각 차원 특성의 다양한 소스와 측정 단위로 인해 이러한 특성 값의 분포 범위가 매우 달라집니다. 서로 다른 샘플 간의 유클리드 거리를 계산할 때 값 범위가 큰 특징이 지배적인 역할을 합니다.

스케일링 정규화

표준 정규화

입력 데이터를 화이트닝한 후에는 특성 간의 상관 관계가 낮고 모든 특성의 분산이 동일합니다.

미백을 달성하는 주요 방법 중 하나는 주성분 분석을 사용하여 성분 간의 상관 관계를 제거하는 것입니다.

배치 정규화, BN 방법이라고도 함

각 레이어가 적절한 폭을 갖도록 하기 위해 활성화 값의 분포가 "강제" 조정됩니다.

데이터 분포의 평균이 0, 분산이 1이 되도록 정규화를 수행합니다.

신경망의 모든 중간 계층은 정규화될 수 있습니다.

이점

Batch Norm 레이어

배치 정규화의 한계

계층 정규화는 중간 계층의 모든 뉴런을 정규화합니다.

네트워크 구조

최적화 매개변수

정규화 계수

테스트 데이터를 사용하여 초매개변수 성능을 평가할 수 없습니다.

하이퍼파라미터 값의 '양호함'을 확인하기 위해 테스트 데이터를 사용하면 하이퍼파라미터 값이 테스트 데이터에만 맞도록 조정됩니다.

학습 데이터는 매개변수(가중치, 편향) 학습에 사용되고, 검증 데이터는 하이퍼파라미터 성능 평가에 사용됩니다. 일반화 능력을 확인하기 위해 테스트 데이터는 마지막에(이상적으로는 한 번만) 사용되어야 합니다.

그리드 검색

무작위 검색

베이지안 최적화

동적 리소스 할당

가중치 감소는 과적합을 억제하기 위해 자주 사용되는 방법입니다. 이 방법은 학습 과정에서 큰 가중치에 페널티를 줍니다.

간단히 말해서 손실함수는 다음과 같다.

λ는 정규화의 강도를 제어하는 ​​하이퍼파라미터입니다.

드롭아웃 방식

네트워크 모델이 매우 복잡해지면 가중치 감소만으로는 처리하기 어렵습니다.

학습 과정에서 뉴런을 무작위로 삭제하는 방법은 매번 무작위로 뉴런을 삭제하는 방식을 선택합니다. 가장 간단한 방법은 고정 확률 p를 설정하는 것입니다. 각 뉴런에 대해 이를 유지할지 여부를 결정할 확률 p가 있습니다.

데이터 증대

라벨 스무딩

자가 훈련은 먼저 레이블이 지정된 데이터를 사용하여 모델을 훈련하고 이 모델을 사용하여 레이블이 없는 샘플의 레이블을 예측하고 예측 신뢰도가 상대적으로 높은 샘플과 예측된 의사 레이블을 훈련 세트에 추가한 다음 새 모델을 다시 훈련하는 것입니다. 그리고 이 과정을 계속 반복하세요.

공동 훈련은 자가 훈련의 향상된 방법입니다.

서로 다른 관점을 기반으로 하는 두 분류자는 서로를 승격시킵니다. 많은 데이터는 상대적으로 독립적인 다양한 관점을 가지고 있습니다.

다양한 관점의 조건부 독립성으로 인해 다양한 관점에서 훈련된 모델은 다양한 관점에서 문제를 이해하는 것과 동일하며 특정 보완성을 갖습니다. 협업 훈련은 이러한 상보성을 활용하여 자가 훈련을 수행하는 방법입니다. 먼저, 서로 다른 관점에 따라 두 모델 f1과 f2를 훈련 세트에 대해 훈련시킨 다음, f1과 f2를 사용하여 레이블이 지정되지 않은 데이터 세트에 대해 예측 신뢰도가 상대적으로 높은 샘플을 선택하여 훈련 세트에 추가합니다. 두 가지 다른 관점을 모델로 삼아 이 과정을 반복합니다.

유도적 전이 학습

전이 학습 도출

훈련이 완료되면 모델은 고정된 상태로 유지되며 더 이상 반복적으로 업데이트되지 않습니다.

모델이 동시에 다양한 작업을 성공적으로 수행하는 것은 여전히 ​​매우 어렵습니다.

옵티마이저 기반 메타러닝

모델에 구애받지 않는 메타 학습