埋め込み(エンベディング)は、文章や単語などのデータを、意味を反映した数値の並び(ベクトル)に変えたものです。意味の近いデータどうしは、ベクトルの空間の中で距離が近くなります。
埋め込みを作るモデルを、埋め込みモデルと呼びます。2つの埋め込みの近さは、コサイン類似度(2つのベクトルの角度をもとにした尺度)などで測ります。RAG では、文書のチャンクと質問の両方を埋め込みに変え、近いものを探します。
2013年の Mikolov ほかの論文「Efficient Estimation of Word Representations in Vector Space」は、大量の文章から単語の連続値のベクトルを学習する方法を示しました。論文は、単語の意味と文法の上での近さを測る課題で、この方法を評価しました。
- 読み
- うめこみ
- 英語
- Embedding
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日
