Transformer

Transformer は、注意機構（アテンション）だけで文の並びを扱う、ニューラルネットワークの構造です。Vaswani ほかが、2017年の論文「Attention Is All You Need」で示しました。

論文は、それまで主流だった再帰型や畳み込み型のネットワークを使わない構造として Transformer を示し、機械翻訳の2つの課題で評価しました。エンコーダーとデコーダーは、それぞれ同じ形の層を6つ重ねています。論文は、NIPS 2017 の論文集（Advances in Neural Information Processing Systems 30）に載りました。

Google の機械学習の用語集は、LLM を、パラメーターの数が非常に多い言語モデル、または Transformer をもとにした言語モデルと説明しています。

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• アテンション（注意機構）：アテンション（注意機構）は、ニューラルネットワークが出力を作るときに、入力のどの部分をどの程度重く見るかを計算するしくみです。2…
• LLM（大規模言語モデル）：LLM（Large Language Model。大規模言語モデル）は、大量の文章のデータで学習し、文章の続きを予測するしくみで…
• 事前学習：事前学習は、大量のデータを使って、モデルに最初に行う学習です。自己回帰型の言語モデルの場合は、ラベルの無い大量の文章を使い、前の…
• パラメーター（モデルの重み）：パラメーターは、モデルが学習によって決める内部の数値です。Google の機械学習の用語集は、モデルが学習の間に身につける重み（…

このサイトの関連するページ

• LLM を業務で使う前に、知っておく言葉は何ですか。トークン、ハルシネーションなど

出典

• Vaswani ほか「Attention Is All You Need」（arXiv:1706.03762、2017年6月12日）（別のタブで開きます）
• NeurIPS Proceedings: Attention is All you Need（Advances in Neural Information Processing Systems 30、NIPS 2017）（別のタブで開きます）
• Google for Developers: Machine Learning Glossary - Generative AI（2026年4月13日更新）（別のタブで開きます）