.htaccessについての質問です。
.htaccessでユーザーエージェントを指定して以下のようにアクセス拒否したとします。
User-agent: Googlebot
Disallow: /
その場合、googleは次の2つの内どちらのように解釈するでしょうか。
①拒否された(すべてのユーザーエージェント対して拒否しているのか、Googlebotだけ拒否しているのかは分からない。つまり、全員を嫌っているのか、自分だけ嫌われいるのかはわからない。)
②自分だけ拒否された(Googlebotだけ拒否していることがわかる。つまり、自分だけ嫌われいることがわかる)
理由も添えて頂けると助かります。
よろしくお願いします。
.htaccessについての質問
Re: .htaccessについての質問
robots.txtの文法と間違えていませんか?
Re: .htaccessについての質問
ありがとうございます。
>>robots.txtの文法と間違えていませんか?
申し訳ありません。間違えました。
robots.txtの場合、googleは「自分だけ嫌われている」と分かると思いますが、.htaccessの場合はどうでしょうか。(分からない気がしますが、確信が持てません・・・)
引き続きお願い致します。
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout
order Allow,Deny
Allow from all
Deny from env=shutout
>>robots.txtの文法と間違えていませんか?
申し訳ありません。間違えました。
robots.txtの場合、googleは「自分だけ嫌われている」と分かると思いますが、.htaccessの場合はどうでしょうか。(分からない気がしますが、確信が持てません・・・)
引き続きお願い致します。
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "Slurp" shutout
SetEnvIf User-Agent "msnbot" shutout
order Allow,Deny
Allow from all
Deny from env=shutout
Re: .htaccessについての質問
User-Agentを変えて何度かアクセスすればどのUser-Agentが拒否されているのかは当然分かってしまいますよね。
User-Agent自体はいくらでも偽装できるので。
User-Agent自体はいくらでも偽装できるので。
Re: .htaccessについての質問
どうもありがとうございます。
googleはユーザーエージェントを偽装するでしょうか。具体的にはgooglebotという文字列を入れないでクロールするでしょうか。
再度、よろしくお願い申し上げます。
googleはユーザーエージェントを偽装するでしょうか。具体的にはgooglebotという文字列を入れないでクロールするでしょうか。
再度、よろしくお願い申し上げます。
Re: .htaccessについての質問
Google クローラ - ウェブマスター ツール ヘルプ
ここによると、Mediapartners-GoogleおよびAdsBot-Googleにはgooglebotという文字列が入っていないようです。
ここによると、Mediapartners-GoogleおよびAdsBot-Googleにはgooglebotという文字列が入っていないようです。
複雑な問題?マシンの性能を上げてOpenMPで殴ればいい!(死亡フラグ)