[44] <meta name=robots> はロボットによる当該 HTML 文書の扱いを指定するものです。

仕様書

名前

[25] 名前 (name 属性の値) はASCII大文字・小文字不区別です HTML。

[26] 名前として標準では robots が使われていますが、 各ロボットが独自の値を規定しています。

値

[14] 値 (content 属性の値) は大文字・小文字不区別です >>5, >>7。

[15] 値としてキーワードを複数指定するときは , を使いますが、スペースをも含めても構いません >>5。

[16] キーワードとしては次のものがあります。

仕様書から

Google のヘルプ

[9] >>7 には次のようにあります :

[8] 

<meta name="robots" content="..., ..." />
<meta name="googlebot" content="..., ..." />

クロールとインデックス登録を行う検索エンジンの動作を制御します。robots メタ タグはすべての検索エンジンに有効ですが、googlebot メタ タグは Google でのみ有効です。デフォルト値は「all」と同じ意味の「index, follow」で特に指定する必要はありません。Google では次の値をサポートしています(複数の値を指定する場合はカンマで区切ります)。

  • noindex: ページをインデックスに登録しないようにします
  • nofollow: Googlebot がページのリンクを追跡しないようにします
  • nosnippet: 検索結果にスニペットを表示しないようにします
  • noodp: ODP/DMOZ の代替説明を使用しないようにします
  • noarchive: Google でページのキャッシュ リンクを表示しないようにします
  • unavailable_after:[date] : ページのクロールとインデックス登録を中止する正確な日時を指定します
  • noimageindex: Google の検索結果に表示される画像の参照元ページとしてページを表示しないようにします

HTTP ヘッダーの「X-Robots-Tag」ディレクティブを使用して、ページのヘッダーに情報を記述することもできます。これは、画像や他のドキュメントなど、HTML 以外のファイルに対するインデックス登録を制限する場合に特に便利です。robots.txt について詳しくはこちらをご覧ください。

verify タグを除き、ほとんどのメタ タグでは大文字と小文字は区別されません。

関連

[49] 非標準の noindex<noindex> 要素もあります。

noindex の利用事例

[58] ヘルプ | ドメイン取るならお名前.com, https://help.onamae.com/contact/

		<meta name="description" content="国内最大級のドメイン登録サービス「お名前.com」のヘルプページでは、ドメインやサーバーのご利用方法について、よくあるご質問・ご利用ガイドをご案内しております。">
		<meta name="keywords" content="お名前.com,使い方,ヘルプ,ご利用ガイド,ドメイン,ドメイン登録,ドメイン取得,ドメイン更新,ドメイン移管,ドメイン廃止,Whois情報,DNS,レンタルサーバー,共用サーバー">

		<meta name="robots" content="noindex">

[3] (, ) https://www.soumu.go.jp/main_content/000735824.pdf

[5] ahamoの問い合わせ先、有人チャット(オペレーター)の場所はここ () https://kakuyasu-sim.jp/ahamo-chat

目障りなnoindexを見つけて、Twitterでツイートしたところ・・・

ちょっぴりバズりました。

その翌日・・・

ahamoの有人チャットの問い合わせページからnoindexが消えました!

歴史

HTML4

  • [10] HTML 4
    • Robots and the META element http://www.w3.org/TR/html4/appendix/notes.html#h-B.4.1.2
    • [2] A.1.2 Errors that were corrected http://www.w3.org/TR/html4/appendix/changes.html#h-A.1.2

[11] HTML 4 は附属書 B (参考) で簡単に解説しているだけです。

[12] HTML 4.01 での修正を根拠に ROBOTS の content は大文字・小文字を区別するという説が出ましたが、 正式な仕様 >>1 では区別しないとしており、 HTML 4 の記述は content 属性に関する一般論と ROBOTS の時の属性値に関する話が混じって混乱を招いたのだと考えられています html-lint。

noodp

[13] noodp は2006年7月に Google により追加されました。

  • [4] Inside Google Sitemaps: More control over page snippets ( 版) http://sitemaps.blogspot.com/2006/07/more-control-over-page-snippets.html
  • [3] Google supports META NOODP tag (2008-01-31 08:41:04 +09:00 版) http://www.mattcutts.com/blog/google-supports-meta-noodp-tag/

noydir

  • [33] Yahoo! Search Support for ‘NOYDIR’ Meta Tags and Weather Update ( 版) http://www.ysearchblog.com/2007/02/28/yahoo-search-support-for-noydir-meta-tags-and-weather-update/

[5] Official Google Webmaster Central Blog: Using the robots meta tag (2007-03-06 22:21:54 +09:00 版) http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html

[6] ACAP - Automated Content Access Protocol v1 ( (IPTC PR Team 著, 版)) http://www.the-acap.org/documents.php

[45] Robots meta tag and X-Robots-Tag HTTP header specifications - Webmasters — Google Developers ( ( 版)) https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

[46] 著作権法施行規則 ( ( 版)) http://law.e-gov.go.jp/htmldata/S45/S45F03501000026.html#1000000000007000000000000000000000000000000000000000000000000000000000000000000

[47] 検索結果での強調スニペット - Search Console ヘルプ ( ()) https://support.google.com/webmasters/answer/6229325?hl=ja-JP

ページ上で <meta name="googlebot" content="nosnippet"> タグを使用してページのスニペットを非表示にしておくと、強調スニペットからオプトアウトできます。これにより、通常の検索結果のスニペットを含むすべてのスニペットがページから削除されます。

[48] はてなブックマーク - 価格.com - 『小さなお葬式は最悪の葬儀会社です。』 葬儀・葬式のクチコミ掲示板 ( 版) http://b.hatena.ne.jp/entry/bbs.kakaku.com/bbs/-/SortID=17436012/

[50] 大手キャリア解約ページ、検索エンジンで見つからないよう検索回避タグを設定 | スラド モバイル () https://mobile.srad.jp/story/20/12/23/207223/

[51] auの「SIMロック解除」案内ページにnoindex設定、KDDI「暫定ページに設定したことによるミス」 - ケータイ Watch (株式会社インプレス, ) https://k-tai.watch.impress.co.jp/docs/news/1334589.html

[52] robots メタタグの指定 | Google 検索セントラル | Google Developers, , https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=ja

noai, noimageai

[53] UPDATE All Deviations Are Opted Out of AI Datasets by team on DeviantArt, https://www.deviantart.com/team/journal/UPDATE-All-Deviations-Are-Opted-Out-of-AI-Datasets-934500371

[54] Introducing the NoAI and CreatedWithAI tags - Sketchfab Community Blog - Sketchfab Community Blog, https://sketchfab.com/blogs/community/introducing-the-noai-createdwithai-tags/

[55] >>54 同じサイト内の実利用例

            <meta name="robots" content="NoAI, index">

[56] NoAI Tagging on Projects - ArtStation Magazine, ArtStation Team, https://magazine.artstation.com/2022/12/noli-tag/

[57] >>56 同じサイト内の実利用例

<meta content="NoAI, index" name="robots" />

[59] テレビ朝日公式サイト、障害者採用ページに検索回避のタグ - 産経ニュース, 産経新聞, , https://www.sankei.com/article/20180831-E5QWEM4O2RMKXJM6X2RUAY7LLQ/