よくあるご質問「「robots.txt」について教えてください」

一般的な検索エンジンのクローラーは、ウェブサイトに設置されている robots.txt にアクセスして検索結果への登録を判断します。

テキストファイル robots.txt を作成し、/home/アカウント/public_html/robots.txt となるように public_html ディレクトリの直下に設置してください。

robots.txt が設置されていない場合は、ウェブサイト内の全ページが検索ロボットの巡回対象になる為、設置されなくても構いませんが、404エラーが返ることになります。
検索ロボットへの意思表示として、巡回を希望される場合は設置なさった方が多少有利となることもあるようです。逆に、巡回を希望されない場合はその旨を記述する必要があります。

robots.txt 記述例「クローラーのアクセスを全て許可」

User-Agent: *
Disallow:

• 全てのクローラー「User-Agent: *」に対して、巡回を拒否するページ「Disallow:」を指定しません。

robots.txt 記述例「クローラーのアクセスを全て拒否」

User-Agent: *
Disallow: /

• 全てのクローラー「User-Agent: *」に対して、全てのページ「/」の巡回を拒否します。

設置例

• public_html
• ├ jsn_start.html
• ├ robots.txt
• └ index.html
• logs

お客様のURLでも robots.txt にアクセスできることをご確認ください。
例）http://example.web2.jp/robots.txt

• ご希望の場合は robots.txt の設置を代行できます。
  ご依頼の際は、ロボットからのアクセスを拒否するか、許可するか、ご希望の設定をご連絡ください。
• 「Google Search Console」の「robots.txt テスター」をご利用いただく事で、正常に設置できているかご確認いただけます。
• 巡回の拒否をご希望の場合は、robots.txt での意思表示だけでは不十分な場合があります。
  ウェブサイトTIPS「検索エンジンに登録されないようにする方法」もご参照ください。