以前からgoogle consoleのrobots.txtのエラーが気になっていました。
今回直せたので、その方法を紹介します。
robots.txtとはどういうもの？
Googleのクローラーにサイトのアクセス制限を設ける設定ファイルのことです。
絶対の強制力はないようなのですが、このディレクトリはアクセスして欲しくないからチェックしないでね。
というのを記述します。
SEOの観点からも不要なものは、除外したいですよね。
robot.txtのエラー内容
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://〇〇.com/sitemap.xml
始めの３行に警告が出ていました。
WordPressのログインページはクロール不要なので、除外については分かります。
ログインページのディレクトリを除外していて、許可ディレクトリにログインディレクトリ配下のPHPファイルが指定されていました。
これは矛盾しているから、ということでしょうか。
修正robots.txt 内容
初めて、robots.txtのGoogleのヘルプページ、SEO関係のサイトを見て回りました。
解決方法は
- 空のrobot.txtを置く
- 除外指定なしのシンプルなrobot.txtを置く
というものでしたので、私は２でいくことにしました。
上記で分かる通り、記述に矛盾があるので、それを修正します。
User-Agent: *
Disallow:
Sitemap: https://〇〇.com/sitemap.xml
User-Agentですべて、Disallowを無指定にしてあります。
Sitemapは間違いは無かったので、そのままにしました。
Googleのrobots.txtのテスターでチェック
Googleのrobots.txtのテスターで上記のコードを貼り付けます。
そうすると、警告が０になりました。
<Google robots.txtヘルプページからテスターページにもアクセス出来ます。>
- 警告が０を確認し、右下の送信をクリック。
- その後、robots.txtのダウンロード。
- ダウンロードしたrobots.txtをアップロード。
（アップロード先は、ルートディレクトリ） - 公開中のバージョンの確認。
- 公開中のバージョンの送信。
以上で完了です。
まとめ
robots.txtの警告はgoogleのインデックス、順位に大きく影響するので、ほっとかずに早めに対処しましょう。
意外と簡単でした。
