チャンク分割(チャンキング)は、RAG で使う文書を、意味のまとまりを持つ適切な大きさのかたまり(チャンク)に分ける作業です。分け方は、検索の精度と回答の精度の両方に関わります。
Microsoft の設計の手引きは、分け方に、決まった文字数やトークン数で区切って前後を少し重ねる方法、文の単位で区切る方法を挙げています。見出しや表などの文書の構造を解析して区切る方法、埋め込みを使って内容の近い部分をまとめる方法なども挙げています。
ACL 2025 の Findings に載った論文「Document Segmentation Matters for Retrieval-Augmented Generation」は、分け方によって検索の精度と回答の精度が変わることを、英語の質問応答のデータで示しました。技術マニュアルでの検証ではありません。
- 読み
- ちゃんくぶんかつ
- 英語
- Chunking
- 業界
- 製造業、教育機関
- 業務
- 技術文書、AI 活用
- 出典の確認日
