サイトを検索エンジンに表示させたくない場合の方法

公開目的で作成していないサイトや、会員間のみで閲覧したいサイトは、検索エンジンの検索結果に表示されたくありません。

その場合の方法です。

ベーシック認証をかける

URLにアクセスしてもIDとパスワードを入力しないとサイトが表示されないようにします。

.htaccessファイルに記述します。

robots.txt

robots.txtファイルをルート直下に設置するとクローラーの巡回そのものがなくなります。

noindex,nofollowタグをつける

ページのメタタグの中にnoindex,nofollowの記述をします。

noindex

クローラーの巡回が来ても、そのページはインデックスされません。

nofollow

クローラーの巡回が来てもそのページに貼られたリンク(URL)はインデックスされません。リンク先の信頼性が確保されていない場合などに使用します。