こんにちは、SEO分析ツール「アナトミー」開発チームの伏見です。 robots.txt とは、クローラのサイト巡回を制御するためのファイルです。XMLサイトマップと同じように、robots.txt もクローラビリティに大きく影響します。特に、クローリングされるページ数が多いECサイトなどでは、rob … 続きを読む robots.txtの書き方