ROBOTS

<meta name=robots>

[44] <meta name=robots>ロボットによる当該 HTML 文書の扱いを指定するものです。

仕様書

名前

[25] 名前 (name 属性の値) はASCII大文字・小文字不区別です HTML

[26] 名前として標準では robots が使われていますが、 各ロボットが独自の値を規定しています。

[14] 値 (content 属性の値) は大文字・小文字不区別です >>5, >>7

[15] 値としてキーワードを複数指定するときは , を使いますが、スペースをも含めても構いません >>5

[16] キーワードとしては次のものがあります。

仕様書から

Google のヘルプ

[9] >>7 には次のようにあります :

[8]

<meta name="robots" content="..., ..." />
<meta name="googlebot" content="..., ..." />

クロールとインデックス登録を行う検索エンジンの動作を制御します。robots メタ タグはすべての検索エンジンに有効ですが、googlebot メタ タグは Google でのみ有効です。デフォルト値は「all」と同じ意味の「index, follow」で特に指定する必要はありません。Google では次の値をサポートしています(複数の値を指定する場合はカンマで区切ります)。

  • noindex: ページをインデックスに登録しないようにします
  • nofollow: Googlebot がページのリンクを追跡しないようにします
  • nosnippet: 検索結果にスニペットを表示しないようにします
  • noodp: ODP/DMOZ の代替説明を使用しないようにします
  • noarchive: Google でページのキャッシュ リンクを表示しないようにします
  • unavailable_after:[date] : ページのクロールとインデックス登録を中止する正確な日時を指定します
  • noimageindex: Google の検索結果に表示される画像の参照元ページとしてページを表示しないようにします

HTTP ヘッダーの「X-Robots-Tag」ディレクティブを使用して、ページのヘッダーに情報を記述することもできます。これは、画像や他のドキュメントなど、HTML 以外のファイルに対するインデックス登録を制限する場合に特に便利です。robots.txt について詳しくはこちらをご覧ください。

verify タグを除き、ほとんどのメタ タグでは大文字と小文字は区別されません。

関連

[49] 非標準の noindex 要素もあります。

歴史

HTML4

[11] HTML 4 は附属書 B (参考) で簡単に解説しているだけです。

[12] HTML 4.01 での修正を根拠に ROBOTScontent は大文字・小文字を区別するという説が出ましたが、 正式な仕様 >>1 では区別しないとしており、 HTML 4 の記述は content 属性に関する一般論と ROBOTS の時の属性値に関する話が混じって混乱を招いたのだと考えられています html-lint

noodp

[13] noodp は2006年7月に Google により追加されました。

noydir

[5] Official Google Webmaster Central Blog: Using the robots meta tag (2007-03-06 22:21:54 +09:00 版) http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

[6] ACAP - Automated Content Access Protocol v1 ( (IPTC PR Team 著, 版)) http://www.the-acap.org/documents.php

[45] Robots meta tag and X-Robots-Tag HTTP header specifications - Webmasters — Google Developers ( ( 版)) https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

[46] 著作権法施行規則 ( ( 版)) http://law.e-gov.go.jp/htmldata/S45/S45F03501000026.html#1000000000007000000000000000000000000000000000000000000000000000000000000000000

[47] 検索結果での強調スニペット - Search Console ヘルプ ( ()) https://support.google.com/webmasters/answer/6229325?hl=ja-JP

ページ上で <meta name="googlebot" content="nosnippet"> タグを使用してページのスニペットを非表示にしておくと、強調スニペットからオプトアウトできます。これにより、通常の検索結果のスニペットを含むすべてのスニペットがページから削除されます。

[48] はてなブックマーク - 価格.com - 『小さなお葬式は最悪の葬儀会社です。』 葬儀・葬式のクチコミ掲示板 ( 版) http://b.hatena.ne.jp/entry/bbs.kakaku.com/bbs/-/SortID=17436012/

[50] 大手キャリア解約ページ、検索エンジンで見つからないよう検索回避タグを設定 | スラド モバイル () https://mobile.srad.jp/story/20/12/23/207223/

[51] auの「SIMロック解除」案内ページにnoindex設定、KDDI「暫定ページに設定したことによるミス」 - ケータイ Watch (株式会社インプレス, ) https://k-tai.watch.impress.co.jp/docs/news/1334589.html

[52] robots メタタグの指定 | Google 検索セントラル | Google Developers, , https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ja

noai, noimageai

[53] UPDATE All Deviations Are Opted Out of AI Datasets by team on DeviantArt, https://www.deviantart.com/team/journal/UPDATE-All-Deviations-Are-Opted-Out-of-AI-Datasets-934500371

[54] Introducing the NoAI and CreatedWithAI tags - Sketchfab Community Blog - Sketchfab Community Blog, https://sketchfab.com/blogs/community/introducing-the-noai-createdwithai-tags/

[55] >>54 同じサイト内の実利用例

            <meta name="robots" content="NoAI, index">

[56] NoAI Tagging on Projects - ArtStation Magazine, ArtStation Team, https://magazine.artstation.com/2022/12/noli-tag/

[57] >>56 同じサイト内の実利用例

<meta content="NoAI, index" name="robots" />