마인드 맵 갤러리 관심이 필요한 전부입니다
변압기 구조에 대한 자세한 설명과 보다 자세한 계산 논리를 포함하여 "Attention is all you need" 논문의 세부 사항을 정리합니다.
2024-04-03 17:47:56에 편집됨이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
이것은 (III) 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제에 대한 마인드 맵이며, 주요 함량은 다음을 포함한다 : 저산소증-유도 인자 프롤릴 하이드 록 실라 제 억제제 (HIF-PHI)는 신장 빈혈의 치료를위한 새로운 소형 분자 경구 약물이다. 1. HIF-PHI 복용량 선택 및 조정. Rosalasstat의 초기 용량, 2. HIF-PHI 사용 중 모니터링, 3. 부작용 및 예방 조치.
이것은 Kuka Industrial Robots의 개발 및 Kuka Industrial Robot의 모션 제어 지침에 대한 마인드 맵입니다. 주요 내용에는 쿠카 산업 로봇의 역사, 쿠카 산업 로봇의 특성, 쿠카 산업 로봇의 응용 분야, 2. 포장 프로세스에서 쿠카 로봇은 빠르고 일관된 포장 작업을 달성하고 포장 효율성을 높이며 인건비를 줄입니다. 2. 인건비 감소 : 자동화는 운영자에 대한 의존성을 줄입니다. 3. 조립 품질 향상 : 정확한 제어는 인간 오류를 줄입니다.
408 컴퓨터 네트워크가 너무 어렵습니까? 두려워하지 마세요! 나는 피를 구토하고 지식 맥락을 명확히하는 데 도움이되는 매우 실용적인 마인드 맵을 분류했습니다. 컨텐츠는 매우 완전합니다. 네트워크 아키텍처에서 응용 프로그램 계층, TCP/IP 프로토콜, 서브넷 디비전 및 기타 핵심 포인트에 이르기까지 원칙을 철저히 이해하는 데 도움이 될 수 있습니다. 📈 명확한 논리 : Mindmas 보물, 당신은 드문 기회가 있습니다. 서둘러! 이 마인드 맵을 사용하여 408 컴퓨터 네트워크의 학습 경로에서 바람과 파도를 타고 성공적으로 해변을 얻으십시오! 도움이 필요한 친구들과 공유해야합니다!
관심이 필요한 전부입니다
자기 관심 자기 관심
기본 구조
이 과정은 다음과 같이 표현될 수 있다.
sqrt(dk)는 스케일 스칼라이고 Q와 K의 내적 결과가 너무 큽니다.
시각적 디스플레이
Q, K 및 V 행렬은 모두 입력에서 생성됩니다.
Q,K,V 생성
W^Q, W^K, W^V는 모델 훈련 과정에서 학습된 적절한 매개변수입니다.
문장을 입력하면 그 안의 각 단어는 문장의 모든 단어로 계산되어야 합니다.
문장 내에서 단어 종속성을 학습합니다.
문장의 내부 구조를 포착하세요
Self-Attention 메커니즘을 사용하는 이유
복잡성
RNN 및 CNN과 비교하면 더 지배적입니다.
병렬화할 수 있나요?
Multi-head Attention에서는 각 Self-Attention 사이에 종속성이 없으며 동시에 수행될 수 있습니다.
장거리 의존
각 단어는 다른 단어와 함께 attention을 계산해야 하므로 최대 경로 길이는 1이므로 장거리 종속성을 쉽게 포착할 수 있습니다.
멀티헤드 어텐션 낙관적인 관심
여러 Self-Attention 구조의 조합
각 머리는 다양한 표현 공간의 특징을 학습합니다.
디코더
구조
Masked Multi-head의 첫 번째 레벨
첫 번째 레벨의 K, Q, V는 모두 이전 레이어 디코더의 출력에서 나옵니다.
마스크 작업 추가
다음 출력 단어는 번역 과정에서 알 수 없습니다
이전에 번역된 출력 단어에만 참석할 수 있습니다.
두 번째 레벨 멀티 헤드
쿼리는 이전 디코더 레이어의 출력에서 나옵니다.
키와 값은 인코더의 출력에서 나옵니다.
디코더의 각 위치는 입력 시퀀스의 각 위치에 참여할 수 있습니다.
입력 임베딩
임베딩 다이어그램
토큰 임베딩
는 단어 벡터이고, 첫 번째 단어는 후속 분류 작업에 사용할 수 있는 CLS 플래그입니다.
세그먼트 임베딩
두 문장을 구별하는 데 사용됨
위치 임베딩
그 외 세부 사항
위치 인코딩
설명하다
모델에는 재발 및 컨볼루션 연산이 없으므로 문장 내 모나드의 상대적 또는 위치 정보가 없습니다.
모델이 위치 정보를 학습하기 위해 단어 임베딩에 위치 인코딩 계층이 추가됩니다.
삼각 함수의 인코딩 방법 선택
포지션 임베딩은 모델이 위치 정보를 포착하지 못하는 부분을 보완하는 역할일 뿐, 모델 설계의 결함을 근본적으로 해결할 수는 없습니다.
중요성
Self-Attention이 교묘하게 고안되었지만 주문 정보를 전혀 포착하지 못하는 절묘한 Bag-of-words 모델이라고 할 수 있으므로 추가 주문 정보를 추가해야 합니다.
위치 인코딩
추가&표준화
추가 연결은 잔여 연결을 나타냅니다.
이미지 처리를 위한 ResNet과 유사한 구조
이전 레이어의 정보를 구분 없이 다음 레이어로 전달
다층 네트워크 훈련의 어려운 문제 해결
Norm은 레이어 정규화를 나타냅니다.
활성화 값 정규화
훈련 과정의 속도를 높이세요
변압기 모델 아키텍처