検索エンジンに登録されないようにする方法
ウェブ上で創作活動を行う場合、検索エンジンに登録、検索、表示される事を防ぎたい場面があるかと思います。
ここでは、いわゆる「検索避け」の方法をご紹介します。
robots.txt の設置
検索結果に登録されたくない事を、robots.txt ファイルを通じて検索エンジンに伝える事ができます。
robots.txt 記述例
ファイル名を robots.txt としてテキストファイルを作成し、次のように記述します。
全ての検索エンジン「User-Agent: *」で、サイト内のページを登録する事を拒否「Disallow: /」します。
設置例
作成した robots.txt ファイルは、公開ディレクトリの直下に設置します。
例えば、URLが http://example.web2.jp/ の場合は、http://example.web2.jp/robots.txtで表示される事を確認してください。
- JSNレンタルサーバーでは public_html の直下に設置します。
更に詳しい情報は、FAQ「robots.txt について教えてください」をご参照ください。
<META> タグの記述
ブラウザや検索エンジンに情報を伝える <META> タグで、ページ毎に指定する事ができます。
HTML 記述例
各ページのHTMLファイルで、<head> タグ内に下記のように記述します。
<meta name="robots" content="noindex,nofollow,noarchive" />
記述の意味
| noindex | 検索結果に登録しない |
|---|---|
| nofollow | ページ内のリンクを辿らない |
| noarchive | 検索エンジンのアーカイブ（キャッシュ）に登録しない |
<A> タグでリンクを拒否する
他のページへのリンクを記述する際に、リンクタグに「rel="nofollow"」を付ける事で、検索エンジンがリンクを辿る事を拒否できます。
HTML 記述例
<a href="http://example.web2.jp/" rel="nofollow">リンク先のサイト</a>
例えば、リンク先のサイトが検索避けを行っている場合は、リンクタグに「rel="nofollow"」を付けると喜ばれるかも知れません。
検索エンジンからのアクセスを制限する設定
設定ファイル .htaccess を使用する事で、検索エンジンからのアクセスを制限できます。
上記の robots.txt や meta タグとは違い、サーバー側で強制的にアクセスを拒否する方法です。
詳細は、マニュアル「.htaccess アクセス制御」をご参照ください。
.htaccess 記述例
検索エンジンのユーザーエージェントを、アクセス制限の対象に設定します。
ユーザーエージェントに「Googlebot」「bingbot」が含まれるアクセスを ng_ua に登録し、アクセス制限の対象に設定します。
パスワードによるアクセス制限を設定
サイトへのアクセスの際に、ユーザー名、パスワードの入力を求める事ができます。
検索エンジンは、パスワードで保護されたページ内にアクセスする事ができない為、検索結果に登録される事はありません。一番効果的と言えます。
詳細は、マニュアル「.htaccess アクセス制御」の「パスワード認証」をご参照ください。
検索結果の確認、削除リクエスト
「Google Search Console」を使用する事で、検索結果に登録されているか、robots.txt が正しく設置できているか、などを確認できます。 また、「検索結果からの削除リクエスト」を送る事もできます。
ご注意事項
- 検索エンジンに登録済みの他サイトからリンクされている場合は、URLやリンクタイトルが検索エンジンに登録される事があります。