記事一覧・検索
日本語名・英語名・別名・タグから検索できます。 カテゴリ、Encoder／Decoderの区分、難易度、抽象度で絞り込めます。
13 件 / 全 13 件
- 共通入門入力トークンInput Tokens文字列をモデルが扱える単位（トークン）へ分割し、それぞれに整数IDを割り当てる工程です。Transformer本体の外側にあるTokenizerが担当し、以降のすべての処理はこのID列を起点にします。
- 共通入門入力埋め込みToken Embedding整数のToken IDを、意味的な情報を持つ固定長ベクトルへ変換する工程です。語彙数V×次元Dの表を引くだけの処理ですが、この表自体が学習で獲得されます。
- 共通標準位置情報Positional EncodingSelf-Attentionは系列を集合として扱い語順を区別できないため、各位置の情報をベクトルに加えます。原典では固定のsin/cos関数を使い、現代のLLMではRoPEなどが主流です。
- Encoder標準マルチヘッド自己注意Multi-Head Self-Attention各トークンが同じ系列内の全トークンを参照し、関連の強さに応じて情報を混ぜ合わせる処理です。Query・Key・Valueの3役を使い、複数のHeadで異なる観点を並行して計算します。
- 共通標準残差接続 ＋ LayerNormAdd & Layer Normalizationサブ層の入力をその出力に足し戻し（残差接続）、特徴次元方向に正規化します。深い層を安定して学習させるための仕組みで、原典のPost-Normと近年主流のPre-Normでは適用位置が異なります。
- 共通入門位置ごとの全結合処理Position-wise Feed-Forward Network各位置のベクトルを独立にD→Dff→Dと変換する2層の全結合層です。Attentionが位置間で情報を混ぜるのに対し、こちらは位置内で非線形な変換を行います。パラメータの大半を占める部分です。
- Encoder入門Encoder出力（文脈表現）Contextual RepresentationEncoderの最終層が出力する、入力文の各トークンに対する文脈込みのベクトル列です。1トークンにつき1本のベクトルが残り、DecoderがCross AttentionでKey・Valueとして参照します。
- Decoder標準右シフトした出力トークンShifted Output (Teacher Forcing Input)学習時のDecoder入力は、正解文を1つ右へずらし先頭に開始記号を置いたものです。各位置が「次のトークン」を予測する形にそろえるための仕組みで、推論時の逐次生成とは動きが異なります。
- Decoder標準マスク付き自己注意Masked (Causal) Self-AttentionDecoder側のSelf-Attentionで、各位置が自分より後ろのトークンを参照できないようにマスクをかけます。学習時に全位置を並列計算しても、推論時の逐次生成と同じ条件を保つための仕組みです。
- Decoder発展Encoder–Decoder AttentionCross AttentionDecoderがQueryを出し、EncoderのKey・Valueを参照する層です。Self-Attentionと違い2つの系列をつなぎます。Decoder-only構成には存在せず、Encoder–Decoder構成に固有の仕組みです。
- 出力ヘッド入門Linear（語彙数へ変換）Linear Output Layer (LM Head)Decoderの出力ベクトル[B, T, D]を、語彙数Vぶんのスコア（logits）[B, T, V]へ変換する全結合層です。ここで出る値は確率ではなく、範囲の制限もない実数です。
- 出力ヘッド入門SoftmaxSoftmaxlogitsを、合計が1になる確率分布へ変換する関数です。入力は確率ではなく制限のない実数である点、値の差だけが結果を決める点、Attention内部でも同じ関数が使われている点が要点です。
- 出力ヘッド標準次トークンの確率と逐次生成Next Token Prediction確率分布から実際に出力する1トークンを選び、それを入力の末尾に足して次のステップへ回す工程です。ここで初めてモデルの出力が文になります。学習時の並列計算との違いが最も表れる部分です。