robots

<meta name=robots>

[44] <meta name=robots>ロボットによる当該 HTML 文書の扱いを指定するものです。

仕様書

名前

[25] 名前 (name 属性の値) はASCII大文字・小文字不区別です HTML

[26] 名前として標準では robots が使われていますが、 各ロボットが独自の値を規定しています。

[14] 値 (content 属性の値) は大文字・小文字不区別です >>5, >>7

[15] 値としてキーワードを複数指定するときは , を使いますが、スペースをも含めても構いません >>5

[16] キーワードとしては次のものがあります。

仕様書から

Google のヘルプ

[9] >>7 には次のようにあります :

[8]

<meta name="robots" content="..., ..." />
<meta name="googlebot" content="..., ..." />

クロールとインデックス登録を行う検索エンジンの動作を制御します。robots メタ タグはすべての検索エンジンに有効ですが、googlebot メタ タグは Google でのみ有効です。デフォルト値は「all」と同じ意味の「index, follow」で特に指定する必要はありません。Google では次の値をサポートしています(複数の値を指定する場合はカンマで区切ります)。

  • noindex: ページをインデックスに登録しないようにします
  • nofollow: Googlebot がページのリンクを追跡しないようにします
  • nosnippet: 検索結果にスニペットを表示しないようにします
  • noodp: ODP/DMOZ の代替説明を使用しないようにします
  • noarchive: Google でページのキャッシュ リンクを表示しないようにします
  • unavailable_after:[date] : ページのクロールとインデックス登録を中止する正確な日時を指定します
  • noimageindex: Google の検索結果に表示される画像の参照元ページとしてページを表示しないようにします

HTTP ヘッダーの「X-Robots-Tag」ディレクティブを使用して、ページのヘッダーに情報を記述することもできます。これは、画像や他のドキュメントなど、HTML 以外のファイルに対するインデックス登録を制限する場合に特に便利です。robots.txt について詳しくはこちらをご覧ください。

verify タグを除き、ほとんどのメタ タグでは大文字と小文字は区別されません。

歴史

HTML4

[11] HTML 4 は附属書 B (参考) で簡単に解説しているだけです。

[12] HTML 4.01 での修正を根拠に ROBOTScontent は大文字・小文字を区別するという説が出ましたが、 正式な仕様 >>1 では区別しないとしており、 HTML 4 の記述は content 属性に関する一般論と ROBOTS の時の属性値に関する話が混じって混乱を招いたのだと考えられています html-lint

noodp

[13] noodp は2006年7月に Google により追加されました。

noydir

メモ

[5] Official Google Webmaster Central Blog: Using the robots meta tag (2007-03-06 22:21:54 +09:00 版) <http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html>

[6] ACAP - Automated Content Access Protocol v1 ( (IPTC PR Team 著, 版)) <http://www.the-acap.org/documents.php>

[45] Robots meta tag and X-Robots-Tag HTTP header specifications - Webmasters — Google Developers ( ( 版)) <https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag>

[46] 著作権法施行規則 ( ( 版)) <http://law.e-gov.go.jp/htmldata/S45/S45F03501000026.html#1000000000007000000000000000000000000000000000000000000000000000000000000000000>

[47] 検索結果での強調スニペット - Search Console ヘルプ ( ()) <https://support.google.com/webmasters/answer/6229325?hl=ja-JP>

ページ上で <meta name="googlebot" content="nosnippet"> タグを使用してページのスニペットを非表示にしておくと、強調スニペットからオプトアウトできます。これにより、通常の検索結果のスニペットを含むすべてのスニペットがページから削除されます。