robots.txt とは

初めて聞くワードで意味が分からない方が多いと思いますが、robots.txt を知るにあたって、Googleの検索システムについて知っておく必要があります。

別の記事でまとめていますので、そちらの方をみてからの方がわかりやすいと思います。

クローラーに検出されたくないページを検出させないようにするものです。

robots.txtを使うことで、サイト内の質の低いコンテンツをブロックし、重要なページを認識させるようクローラーを制御することができます。

robots.txtファイルがなくても、ページはインデックスされます。
クローラーはサイトの他の部分をクロールする前にまずこのファイルを検索します。書き間違いに注意すれば、設定して損はないものです。

すごくわかりやすい図がこちら

このファイルがあると、インデックスさせたいページ、させたくないページを設定することができます。

設置方法

テキストファイルを作成します。

名前は「robots.txt」にします。

テキストの中に書く項目は、下記にある通りです。必要なものを記入します。

①　User-Agent:*（必須）　：どのクローラーの動きを制御するか記入。基本的には＊（すべてのクローラー）でOK。Googlebotのみ制御する場合は「User-Agent:Googlebot」と記入。

②　Disallow:/wp-admin/　：アクセスを制御するファイル。無記入だとすべてクロールの対象。ここでいうと、Wordpressの管理ページ。Disallow:/だとすべてブロック
クロールを制御するだけなので、検索結果にはでます。

検索結果に出したくない場合は、noindexタグを使用
この場合Disallow:には記載しない（noindexを見つけることができず、結果に出てしまうため）

③　Allow: /wp-admin/○○（書かなくてOK）　：アクセスを許可するファイル。Allow: /だとすべて許可。ブロックしたファイルのなかで一部許可したい場合などに使用。

④　Sitemap:https://○○○/sitemap　：これを記入するとサイトマップを積極的に読んでもらえる

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/○○○

Sitemap: https://○○○/sitemap.xml

robots.txtファイルをサイトのトップページに設置します。

FTPソフトなどを使用します。

ここでいうと「http://mapletc.net/robots.txt」になります。

サーチコンソールにある「robots.txtレポート」のステータスで確認します。

反映されるまではタイムラグがあります。