robots.txt は、サイトの一番上の場所に置くテキストのファイルで、検索エンジンや AI のボット（自動でページを読みに来るプログラム）に、サイトのどの URL を読んでよいかを伝えます。
Google は、robots.txt の主な目的を、ボットのアクセスでサイトに負荷がかかりすぎないようにすることと説明しています。ページを Google の検索に出さないためのしくみではない、とも述べています。
AI のボットには、検索の結果に出すためのものと、AI のモデルの学習に使うものがあり、OpenAI は、それぞれの設定を別に決められると説明しています。
Google は、AI による概要や AI モードに出るためにも、robots.txt や CDN などの設定で、ページを読むことが許されているかを確かめるよう挙げています。
- 業界
- 製造業、教育機関
- 業務
- 業務システム、営業・マーケティング
- 出典の確認日