クロールエラー404「見つかりませんでした」の修正方法

googleウェブマスターツールでクロールエラー404「見つかりませんでした」が表示された時に修正する方法です。

クロールエラー404とは何か

  1. Googlebot が特定の URL をクロールしたものの、ページがなかった場合に表示されるエラーです。具体例を次に挙げます。

    • ページを削除した
    • ページのURLを変更した
    • 誤ったURLが記載された
    • 例示のために架空のURLを記載した（パーマリンクの記事で、架空のURLを記載したらそれらもクロールエラー404になってしまった。）
    crawl-error-404-1.png

  2. クロールエラー404が出ているからといって慌てて修正することはないでしょう。心理的に、エラーがあるのは嫌だ、という場合に修正すればいい程度だと思います。

確実にエラーを修正する方法

  1. クロールエラー404が出ている特定の URL を、Googlebot にクロールさせないように設定するだけです。

  2. 既にウェブマスターツールに掲載されているクロールエラー404であれば、robots.txtをサイトのルートディレクトリに設置することで修正できます。

  3. たとえば、https://unmei.in/wiki/4649 という存在しないURLへのクロールを禁止する場合、robots.txtへの記述は次のとおりです。複数のURLを設定する場合は、Disallow: の行を増やすだけです。

    User-agent: *
    Disallow: /4649

  4. WordPressでサイトを運用していて、プラグインの「Google XML Sitemap Generator」を利用している場合は、次の設定が必要です。WordPress管理画面のインストール済みプラグインの一覧に並んでいる「Google XML Sitemap Generator」のSettingから設定画面に入ります。

    crawl-error-404-2.png

  5. サイトマップの URL を仮想 robots.txt ファイルに追加のチェックを外します。仮想robots.txtと自作のrobots.txtが競合しないようにするためです。ページ最下部の 設定を更新 をクリックします。

    crawl-error-404-3.png

  6. googleウェブマスターツールの画面で、robots.txtに記述した（クロールを禁止した）URLにチェックを入れて修正済みとするをクリックすれば、しばらくするとエラーが修正されています。

    crawl-error-404-4.png

エラーを有効活用する方法

  1. 誤ったURLへのアクセスを301リダイレクトし、正しいと思われるURLに飛ばします。クロールエラー404が消える上、誤ったリンク元からの訪問者も逃しません。一石二鳥です。

  2. 他サイトや掲示板などで誤ったURLが記載されてクロールエラー404がでている場合は、その誤ったURLにページを作成するのもありかもしれません。

リンク

他サイトの参考になるページへのリンクです。日付は各ページの公開日もしくは最終更新日です（2012年3月現在）。ありがとうございます。