蒸留は、大きなモデル（教師）の出力を手本にして、小さなモデル（生徒）を学習させ、教師の予測をまねる小さなモデルを作る方法です。知識蒸留（knowledge distillation）とも呼びます。
Hinton、Vinyals、Dean の 2015年の論文「Distilling the Knowledge in a Neural Network」は、複数のモデルの集まり（アンサンブル）が持つ知識を1つのモデルに移す方法を、先行する研究を発展させて示しました。モデルの集まりは、多くの利用者に提供するには計算の負担が大きく、1つのモデルのほうが配備しやすい、という考えによります。
「International AI Safety Report 2026」は、蒸留を、より性能の高い（多くはより大きい）教師モデルの出力で生徒モデルを学習させ、生徒が教師の出力をまねられるようにすることと説明しています。教師モデルが要るので、最も進んだ水準の性能を直接に高める手段にはならないとも述べています。
- 読み
- じょうりゅう
- 英語
- Knowledge distillation
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日