[2] Web では自動で動作するクライアント (ロボット) が多々使われています。 そうしたロボットへの指示を記述する方法もいくつか用意されています。
[1] robots.txt<meta name=robots>XML Sitemapロボット除外プロファイルrel=nofollow
<meta name=robots>
rel=nofollow