助け合い掲示板

[

検索避けについて
by いこ

2021-10-26 19:36
検索避けについてです。
わたしの運営しているサイトはホムペ設定からロボット検索拒否にチェックを入れ、検索避けをしています。
ですが自身のサイトのURLを検索エンジンで調べてみたところ、ヒットしてしまいました……。
サイト名で検索した際はヒットされなかったのですが……。
他の検索エンジンで試しましたが、そこではURLもサイト名もヒットされませんでした。
これは検索避けが機能しているのかいないのか、どっちなのでしょうか？

検索避けの確認のために行ったのですが、この行為によってロボットが巡回してくるということはあるのでしょうか？

ご回答、何卒よろしくお願いします。

pc
[編集]

by 774

2021-10-29 04:57
【検索避けについて】

所謂「検索避け」は大まかに２種類あります。

▽robots.txtファイルを用いたもの
・ボットからのアクセス自体を制御できる

▽HTMLの<meta>要素を用いたもの
・ボットからのアクセスは拒否できない
・そのページを読ませ、ボットが取るべき行動を指定できる

ナノで利用可能な検索避けは後者の「<meta>要素を用いたもの」のみです。
ボットからのアクセス自体は制限できません。　正しく<meta>要素を記述して、振る舞いを制御しましょう。

【<meta>要素による検索避けでできること】

▼基本形

『<meta name="対象" content="指示" />』
HEAD間に上記を記述
※<meta name="値" content="値" />自体検索避け以外のページ設定にも用いますが、本解説では検索避けのみに対象を絞り進めていきます。

▼[対象]部分の記述

対象ボットの指定ができます。
『robots』で全ての巡回ボットに対して指示ができるので、基本的にこれで良いと思います。

他：『googlebot』ならgoogleの巡回ボットのみに、『Bingbot』でBingの巡回ボットのみを対象に、等

▼[指示]部分の記述

『,』区切りで複数指定可能

『noindex』：ページを検索結果に出さない
『nofollow』：ページ内リンクを辿らせない
『noarchive』：検索エンジンにキャッシュを残さない、キャッシュリンクを表示しない
『nosnippet』：検索結果にスニペットを載せない
『noimageindex』：ページ内画像をインデックスに登録させない
『none』：『noindex,nofollow』と同義

省きましたが他もあるので気になる場合は「meta robots」あたりで検索してください。

※『noindex』を書いておけば「検索結果に載せない」が指示できるので他(検索結果につけるオプション等)の指示は実質不要です。
※大文字小文字は区別されないので、小文字で一度書けば十分です。

▼ナノの設定での検索避け

『<meta name="robots" content="noindex, follow" />』をHEAD内に記述した上で出力
→全巡回ボットに対し、「検索結果に載せない」「ページ内リンクは辿って良し(初期値)」を指示

【検索避けができてないのか】

サイト開設当時から設定の検索避けにチェックを入れていましたか？　そうでない場合、「noindex」を宣言してない間に来た巡回ボットにページを拾われ記録されている可能があります。
また、他に自分で検索避けの記述をしている場合、指示部分の矛盾等によって意図を外れた挙動をしているのかもしれません。

【これからどうすればいいのか】

▼検索エンジンからの削除

検索エンジンによりますが、ページ情報の削除ができる場合もあるので調べてください。
検索ワード：「[エンジン名] ページ情報削除」等、[エンジン名]は固有名詞で。

▼記述の見直し

他に自分で検索避けの記述をしている場合は矛盾や無駄が無いか見直しを。　よくわからない場合はいっそ全て消した方がいいです。
その状態で次回巡回を待ちましょう。

▼ナノの検索避けのみでいいのか

いいです。　「ページ内リンクを辿って良し」なので不安になるかもしれませんが、辿ったところで「検索結果に載せない」ので問題ありません。
一度検索結果に載ってしまっているなら次回巡回時に各ページでの『noindex』を効率よく読み取って回ってくれる筈です。

▽他サイトへのボットの移動制御

ページ内リンクを辿った結果、他サイトへボットが行くことを避けたい場合、リンク要素自体に『rel="nofollow"』属性をつけておくと良いかもしれません。
例：『<a href="他サイトURL" rel="nofollow">文字</a>』

もしくはナノ設定での検索避けチェックを外し、共通HEADに『<meta name="robots" content="none" />』記述

pc
[編集]

by いこ

2021-10-30 14:30
ご返答ありがとうございます。

詳しく書いて下さってありがとうございます。
サイト開設してしばらくは検索避けをしておらず、サイト運営様から指示が出て設定した次第です。ですので、かなりの期間は検索ができてしまう状態にあったと思うので、もしかしたらその時に拾われたかもしれません……。
検索エンジンで自身のサイトが出てしまうのは、それが記録され残ってしまっている、ということなのですね。

ページ情報の削除もできるんですね……調べて試してみます！調べる際は、こちらの助け合い掲示板で調べていいのでしょうか？とにかく、やってみます。

ナノの検索避けでも十分大丈夫ということで、とりあえず安心しました。
ちなみに検索避けにチェックを入れてる他、念の為と思い共通HEADに『<META name="robots" content="noindex,nofollow,noarchive">』も出力しています。

共通HEADに出力する場合、ナノの検索避けチェックは外してしまった方がいいんでしょうか？
勉強不足で……すみません。

pc
[編集]

by 774

2021-10-30 20:18
▼検索するなら？

本件に限らずナノ機能以外の事だとこの掲示板より他の方が情報を拾えます。

▼ナノの検索避けチェックを外す方がいいのか

それを記述するのなら外した方がいいです。　ただ前述しましたがナノ出力のみで十分なので意味もわからず書いているならナノ出力のみを採用した方がいいです。

ナノ出力で『follow』、記述で『nofollow』でこの時点で矛盾が生じます。
例としてグーグルクローラーは(現時点の仕様では)『nofollow』等、拒否の『no○○』側を優先採用してくれるようなのですが巡回ボットの振る舞いは検索エンジン毎に差異があり、「○○は大丈夫だったから△△も大丈夫」とは言えません。　なので差異をなくす為にも矛盾の生じないよう記述しておいた方が無難です。
単純に記述量の無駄ですし。

---
追記：2021/12/20 今気がついたので

▼どちらが有効か

A.変わりません。

前述しましたが、ナノの検索避けも『<meta>』要素を自動で記述した上で出力してくれるというだけです。(検索避けにチェック入れた上で公開ページのソースを確認すると可視化できます。一度試してみてください)
検索ボットから見てもユーザーが自分で記述している、サーバー側が自動で記述しているなんて見分けはつけられないので結局重要なのは記述内容です。

pc
[編集]

by いこ

2021-11-01 12:34
お返事遅れて申し訳ございません。

ナノ以外でも検索すれば情報が出てくるんですね。ありがとうございます。

検索避けに関しましては、記述する場合はナノ出力を外した方がいいんですね。重複によって矛盾が生じてしまわないよう、ナノ検索避けチェックのみにするか、チェックを外して記述のみするか、どちらかにします。

今頃になって申し訳ないのですが、検索避けはナノ出力と自身で記述するの、どちらがより効果があるのでしょうか？それとも、あまり変わらないのでしょうか？

pc
[編集]

[