9月15日以降、Web上のAIエージェントによるリアルタイムでのデータ収集が、一部でデフォルトブロックされることになりました。Cloudflareが発表したこのルール変更は、サイト管理者が自身のコンテンツをAIボットから保護するための手段となります。本記事では、AIエージェントにクローリングを許可するための具体的な設定手順を解説します。