アテンション（注意機構）

アテンション（注意機構）は、ニューラルネットワークが出力を作るときに、入力のどの部分をどの程度重く見るかを計算するしくみです。2017年に示された Transformer は、このしくみだけをもとにした構造です。

Bahdanau、Cho、Bengio の 2014年の論文は、機械翻訳で、訳語を1つ予測するたびに、原文の中の関係する部分を自動で探すしくみを示しました（ICLR 2015 で発表）。原文の全体を、決まった長さのベクトル1つに詰め込む方式の限界に対する提案でした。

1つの並びの中の位置どうしを関係づけるアテンションを、自己注意（self-attention）と呼びます。Transformer の論文は、アテンションを、問い合わせ（query）と、鍵と値（key-value）の組から出力を求める働きと説明しています。

読み

あてんしょん

英語

Attention mechanism

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• Transformer：Transformer は、注意機構（アテンション）だけで文の並びを扱う、ニューラルネットワークの構造です。Vaswani ほか…
• LLM（大規模言語モデル）：LLM（Large Language Model。大規模言語モデル）は、大量の文章のデータで学習し、文章の続きを予測するしくみで…
• コンテキストウィンドウ：コンテキストウィンドウは、LLM が回答を作るときに一度に参照できる文章の範囲です。大きさはトークンの数で数え、入力した指示や資…
• トークン：トークンは、LLM が文章を処理するときの最小の単位です。1つのトークンは、単語、単語の一部、1文字、記号などにあたります。入力…

出典

• Bahdanau、Cho、Bengio「Neural Machine Translation by Jointly Learning to Align and Translate」（arXiv:1409.0473、2014年9月1日）（別のタブで開きます）
• Vaswani ほか「Attention Is All You Need」（arXiv:1706.03762、2017年6月12日）（別のタブで開きます）
• Google for Developers: Machine Learning Glossary（attention の項）（別のタブで開きます）