sqrt(dk) はスケール スカラーであり、Q と K の内積結果が大きすぎます。

Q、K、V を生成する

RNN や CNN と比較すると、より支配的です。

マルチヘッド アテンションでは各セルフ アテンション間に依存関係がなく、同時に実行できます。

各単語は他の単語とのアテンションを計算する必要があるため、最大パス長は 1 であり、長距離の依存関係を簡単に把握できます。

最初のレベルの K、Q、および V はすべて、前の層デコーダの出力から得られます。

マスク操作を追加

クエリは、前のデコーダ層の出力から取得されます。

キーと値はエン​​コーダーの出力から取得されます。

デコーダの各位置は、入力シーケンスの各位置に付随することができます。

トークンの埋め込み

セグメントの埋め込み

位置埋め込み

モデルには再帰演算や畳み込み演算がないため、文中にはモナドの相対情報や位置情報はありません。

モデルが位置情報を学習するために、位置エンコーディングのレイヤーが単語埋め込みに追加されます。

三角関数のエンコード方法を選択します

位置埋め込みは、モデルが位置情報を取得できないことを補うだけであり、モデル設計の欠陥を根本的に解決することはできません。

Self-Attention は巧妙に考えられていますが、注文情報をまったく取り込まない絶妙な袋詰めモデルとしか言えず、追加の注文情報を追加する必要があります。

画像処理用の ResNet に似た構造

前の層の情報を区別せずに次の層に渡す

多層ネットワークトレーニングの困難な問題を解決する

活性化の正規化

トレーニングプロセスのスピードアップ