⚙️ 設定
🤖 User-Agent（対象クローラー）
📋 ルール（Disallow / Allow）
⏱️ Crawl-delay（任意）
🗺️ Sitemap
💬 コメント（任意）
📄 プレビュー
# robots.txt
robots.txt はサイトのルートに配置します。
例:
注意: robots.txtはあくまで「お願い」であり、悪意のあるボットは無視する可能性があります。
例:
https://example.com/robots.txt注意: robots.txtはあくまで「お願い」であり、悪意のあるボットは無視する可能性があります。