量子化は、モデルのパラメーターを表す数値の精度を下げて、モデルを小さくし、推論の計算を軽くする方法です。たとえば、32ビットの浮動小数点数で持っていた値を、8ビットの整数で表します。
量子化には、学習を終えたモデルに後からかける方法（post-training quantization）があります。量子化で生じる誤差を学習の中で模擬し、モデルを慣らす方法（quantization-aware training）もあります。Google の文書は、最適化によってモデルの正確さが変わることがあるとしています。
Jacob ほかの 2017年の論文は、推論を整数の演算だけで行う量子化の方式と、量子化の後も正確さを保つための学習の手順を示しました。スマートフォンなどの端末の上での推論を対象にした研究です。
- 読み
- りょうしか
- 英語
- Quantization
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日