SEO担当者、特に「ソースコード」を管理したり、編集する可能性がある方は絶対しっておきたいSEO用語の一つ、それが「robots.txt」です。 ただ、「横文字だしなんだか難しそう、自分に理解できるかな」と不安に思う方もいると思います。そこでこの記事ではrobots.txtに関する基礎知識から「具体的な活用方法」までわかりやすく解説します。 robots.txtとは robots.txtとは、googleやyahooなどの「検索エンジン」にクロールして欲しくないページを管理するためのテキストファイルのこと ...