Googlebot をブロックまたは許可するには
広告
メモ:よく分からないが、特定のロボット型検索エンジンのみを許可する方法があるらしいので実験中。しばらくしてからアクセスログを見てみよう。
Googlebot 以外のすべてのロボットのアクセスをブロックする場合は、次のシンタックスを使用します (注: MSN や Yahoo! など他の検索エンジンの検索結果でもサイトが表示されるようにする場合にはこの方法はお勧めできません)。
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
追記:Googleで検索してみると、ぼちぼちアチキのブログがヒットしているようだ。Yahooとかではヒットしない模様なので書き方は正しかったのかな?
アチキが変更したrobots.txtは以下。
User-Agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/
広告