AI クローラーは、AI のサービスを提供する会社が、Web のページを自動で読みに来させるプログラムです。検索の結果にサイトを出すため、利用者の質問に答えるため、AI のモデルの学習に使うためなど、役目ごとに分かれていることがあります。
OpenAI は、ChatGPT の検索の機能でサイトを示すための OAI-SearchBot、モデルの学習に関わる GPTBot、利用者の操作に応じてページを読む ChatGPT-User を説明しています。robots.txt での設定は、それぞれ別に決められます。
検索には出したいが、学習には使ってほしくない、といった方針を、会社として選べます。
- 英語
- AI crawler
- 業界
- 製造業、教育機関
- 業務
- AI 活用、営業・マーケティング
- 出典の確認日