プログラマ専用SNS ミクプラ

.htaccessについての質問です。

.htaccessでユーザーエージェントを指定して以下のようにアクセス拒否したとします。

User-agent: Googlebot
Disallow: /

その場合、googleは次の2つの内どちらのように解釈するでしょうか。

①拒否された（すべてのユーザーエージェント対して拒否しているのか、Googlebotだけ拒否しているのかは分からない。つまり、全員を嫌っているのか、自分だけ嫌われいるのかはわからない。）
②自分だけ拒否された（Googlebotだけ拒否していることがわかる。つまり、自分だけ嫌われいることがわかる）

理由も添えて頂けると助かります。

よろしくお願いします。

robots.txtの文法と間違えていませんか？

ありがとうございます。

＞＞robots.txtの文法と間違えていませんか？

申し訳ありません。間違えました。

robots.txtの場合、googleは「自分だけ嫌われている」と分かると思いますが、.htaccessの場合はどうでしょうか。（分からない気がしますが、確信が持てません・・・）

引き続きお願い致します。




SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout

order Allow,Deny
Allow from all
Deny from env=shutout

User-Agentを変えて何度かアクセスすればどのUser-Agentが拒否されているのかは当然分かってしまいますよね。
User-Agent自体はいくらでも偽装できるので。

どうもありがとうございます。

googleはユーザーエージェントを偽装するでしょうか。具体的にはgooglebotという文字列を入れないでクロールするでしょうか。


再度、よろしくお願い申し上げます。

Google クローラ - ウェブマスター ツール ヘルプ
ここによると、Mediapartners-GoogleおよびAdsBot-Googleにはgooglebotという文字列が入っていないようです。

返信が遅くなってしまい、申し訳ありません。

どうもありがとうございました。