リップシンクは、話している人の口の動きを、音声に合わせることです。AI の分野では、動画の中の人の口の動きを、別の音声に合うようにつくり直す技術を指します。吹き替えた音声と口の動きを合わせる場面で使われます。
Prajwal ほかの論文(2020年8月公開、ACM Multimedia 2020 で採択)は、任意の人物が話す動画の口の動きを、目標の音声に合わせるモデル Wav2Lip を示しました。口の動きと音声が合っているかを見分ける識別器を使って学習します。
2026年10月時点で、YouTube は、吹き替えた音声に合うように話し手の口の動きを変える機能を、オートダビング(automatic dubbing)の試験的な機能として説明しています。使えるのは、一部のチャンネルです。
- 読み
- りっぷしんく
- 英語
- Lip sync / lip synchronization
- 業界
- 製造業、小売・流通、医療・福祉、建設、金融・保険、教育機関
- 業務
- 動画、AI 活用
- 出典の確認日
