x-robots-tagとは？初心者でも分かる使い方と設定のコツ共起語・同意語・対義語も併せて解説！

この記事を書いた人

高岡智則

年齢：33歳性別：男性職業：Webディレクター（兼ライティング・SNS運用担当）居住地：東京都杉並区・永福町の1LDKマンション出身地：神奈川県川崎市身長：176cm 体系：細身〜普通（最近ちょっとお腹が気になる）血液型：A型誕生日：1992年11月20日最終学歴：明治大学・情報コミュニケーション学部卒通勤：京王井の頭線で渋谷まで（通勤20分）家族構成：一人暮らし、実家には両親と2歳下の妹恋愛事情：独身。彼女は2年いない（本人は「忙しいだけ」と言い張る）

x-robots-tagとは？

このページでは、x-robots-tagが何を意味するのか、どう使われるのかを初心者にも分かるように解説します。

x-robots-tagは、検索エンジンがウェブページをどう扱うかを指示する仕組みです。通常、検索エンジンはページを自動的にクロールしてインデックス化しますが、ウェブサイトの管理者は特定のページだけ指示を出すことができます。主にHTTPヘッダーとして伝えられることが多く、サーバーの設定で送信される情報です。

もう一つの伝え方としてHTMLのメタタグが挙げられますが、現代のサイトではHTTPヘッダーの方が堅牢で確実なケースが多いため、サーバー側の設定を優先するのが一般的です。x-robots-tagは、単に「このページをインデックスに入れない」というだけでなく、リンクの辿り方や検索結果の表示の仕方まで細かく制御できます。

代表的な使い方には、noindex（インデックス化を禁止）、nofollow（リンクを辿る）、noarchive（キャッシュを作成させない）、nosnippet（説明文を表示させない）などがあります。これらを組み合わせて、ページごとに適切なインデックス戦略を設定します。

設定方法の基本

1) HTTPヘッダーでの設定

サーバー側の設定として、レスポンスヘッダーに

Header set X-Robots-Tag "noindex, nofollow"

のように書きます。これにより、そのページは検索エンジンに表示されず、リンクも辿られません。

2) HTML側の設定（メタタグ）

HTMLのhead内に<meta name="robots" content="noindex">のような指示を置くことも可能ですが、HTTPヘッダーの方が信頼性が高い点に注意してください。

よくある値の一覧と意味

以下の表は、よく使われる x-robots-tag の値と、その意味をまとめたものです。

<th>値

意味
noindex	このページを検索結果に表示しない
nofollow	ページ内のリンクを辿らない
noarchive	検索結果のキャッシュを作成させない
nosnippet	検索結果の説明文を表示させない

複数の値をカンマで区切って一度に指定できます。例えば Header set X-Robots-Tag "noindex, nofollow" のように書くと、そのページはインデックスされず、リンクも辿られません。

活用のコツとしては、公開段階のサイトと非公開部門を分けて運用する場合などに有効です。検索エンジンに見せたくないページ、あるいは特定のページだけインデックスを抑えたい場合に活躍します。

最後に、x-robots-tagは検索エンジンの挙動を尊重しますが、必ずしも全てのクローラーが同じ解釈をするとは限りません。大切なのは、サイト全体の方針に沿って一貫した設定を行うことと、設定変更後には実際に検索結果を確認することです。

このように、x-robots-tagはウェブサイトの公開範囲をコントロールする強力な道具です。初心者の方は最初は少数のページに対して試し、効果と影響を観察するところから始めると良いでしょう。

x-robots-tagの同意語

X-Robots-Tag: HTTPレスポンスヘッダの正式名称。検索エンジンのクローラに対して、ページのインデックスや表示をどう扱うかを指示します。
X-Robots-Tag ヘッダ: X-Robots-Tagというヘッダを指す別名。意味は同じく、クローラへの指示を送る HTTP ヘッダです。
Robots HTTPヘッダ: ロボット向けの指示を含むHTTPヘッダの総称。X-Robots-Tagはその代表的な例です。
ロボット指示ヘッダ: クローラへインデックスや表示の挙動を指示する、ロボット用のHTTPヘッダの呼び方。
検索エンジン指示ヘッダ: 検索エンジン向けの指示を含むHTTPヘッダという意味の表現。
ロボット用HTTPヘッダ: ロボット（クローラ）向けの指示を送るHTTPヘッダの総称。X-Robots-Tagはその中の具体例。
robots ヘッダ: 日常的な表現としての“robots”に基づく指示ヘッダの略称的呼び方。
X-Robots-Tag ヘッダ名: X-Robots-Tagというヘッダ名そのものを指す表現。
クローラ指示ヘッダ: 検索エンジンのクローラに対して動作を指示する目的のヘッダの総称。

x-robots-tagの対義語・反対語

index: 検索エンジンにこのページをインデックスさせることを許可する
follow: 検索エンジンがこのページ内のリンクを辿ることを許可する
imageindex: このページの画像を検索エンジンがインデックス化することを許可する
odp: ODP(Open Directory Project) の説明文を検索結果の説明として使用することを許可する
translate: このページを翻訳表示できるようにする
snippet: 検索結果にこのページのスニペット（抜粋）を表示できるようにする
archive: このページをキャッシュとして保存・表示できるようにする
available_after: この日付以降にページを表示・インデックスできるようにする
unavailable_after: この日付以降は表示・インデックス不可となる設定の対義語として、後述の available_after が表示・インデックス可能になる
max_snippet: スニペットの長さを最大限に設定する（制限を強化する意味合い）
unlimited_snippet: スニペット長の制限を解除して無制限に表示できるようにする
max_image_preview: 画像プレビューの最大長を設定する（none 以外を許可する意味合い）
large_image_preview: 大きな画像プレビューを表示できるようにする
max_video_preview: 動画プレビューの最大長を設定する（none 以外を許可する意味合い）
unlimited_video_preview: 動画プレビューの長さを制限なく表示できるようにする

x-robots-tagの共起語

X-Robots-Tag: HTTPレスポンスヘッダとして用いられるディレクティブ。検索エンジンがページをどのようにクロール・インデックスするかを指示します。
noindex: このディレクティブを指定すると、検索エンジンのインデックスに追加されません。
index: このディレクティブを指定すると、検索エンジンはページをインデックス対象として扱います。
nofollow: このディレクティブを指定すると、ページ内のリンク先をクローリング対象にしません。
follow: ページ内のリンクをクローリング対象にします。
noarchive: 検索結果にページのキャッシュを表示させません。
nosnippet: 検索結果にスニペットを表示させません。
notranslate: 検索結果の翻訳オプションを抑制します。
noimageindex: ページ内の画像をインデックス対象にしません。
noodp: Open Directory Project（DMOZ）の情報を用いず、代替情報を使用します。
unavailable_after: 指定日時以降はページをインデックス対象外とします（予約的に非表示化する日付指定）。
max-snippet: スニペットの最大文字数を制限します（0にするとスニペットを表示しません）。
max-image-preview: 画像プレビューの最大サイズを制限します（noneで無効化、他は大/中などの指定を許容）。
max-video-preview: 動画プレビューの最大サイズを制限します（noneや数値で指定します）。

x-robots-tagの関連用語

X-Robots-Tag: HTTPレスポンスヘッダーとして、特定のリソースに対する検索エンジンの挙動を指示します。主な値には noindex、nofollow、noarchive、nosnippet、noimageindex、noodp、noydir、unavailable_after などがあり、複数をカンマ区切りで組み合わせて使います。リソース単位で設定でき、インデックスや表示内容の制御に役立ちます。
Robotsメタタグ: HTMLのhead内に meta name=robots content=... と書くことで、同様のディレクティブを適用します。ページ全体に適用するのが基本で、noindex や nofollow などの指示を設定します。
robots.txt: サイト全体のクロールを制御するためのテキストファイルです。主なディレクティブは User-agent、Disallow、Allow、Crawl-delay など。X-Robots-Tagとは別の仕組みで、インデックスそのものの禁止には直接使われません。
noindex: 検索エンジンのインデックス登録を禁止する指示。X-Robots-Tag、Robotsメタタグ、または robots.txt で設定します。
nofollow: ページ内のリンクを辿らせない指示。リンク評価の伝播を停止します。
noarchive: 検索結果にページのキャッシュ表示をさせない指示です。
nosnippet: 検索結果に表示されるスニペット（抜粋）を出さない指示です。
noimageindex: 画像のインデックス化を停止する指示です。
noodp: Open Directory Project のディスクリプションを使用しない指示です。
noydir: Yahoo Directory のディスクリプションを使用しない指示です。
unavailable_after: 指定した日時以降にそのページを公開していないものとして扱うよう指示します。日付と時刻の形式で設定します。
Crawl-delay: robots.txt でクロールの間隔を遅らせる指示。通常は秒単位で設定します。
index: インデックス登録を許可する指示。noindex の対義語で、デフォルトの挙動です。
follow: リンクの追跡を許可する指示。デフォルトはフォロー（follow）です。