2004年06月05日
analog で Yahoo! Slurp クローラを確かめる
analog のレポートがYahoo! JAPANの新しい検索エンジンYSTのクローラを単独で表示するように、設定ファイルを変更した。「ブラウザレポート」機能を使うことで、YSTのクローラ"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"を他のMozillaブラウザと区別できる。
5月31日、Yahoo! JAPANは検索エンジンを従来のGoogleから米Yahooが開発したYahoo Search Technology（以下、YST）に変更した。
Yahoo! JAPANがGoogleからYSTへの検索エンジン切り換えを実施 - CNET Japan
YSTのクローラは次のブラウザとして活動している。
"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
しかし、Webアクセスの統計表示するanalogの普段の出力は、YSTのクローラのアクセスをMozillaとしか表示しておらず、他と区別できなかった。
そこで調べると、普段使っていた「ブラウザの概要」機能ではなく、「ブラウザレポート」機能を使えば、ブラウザを細かく識別したレポートを出力し、YSTクローラを区別してくれることが分かった。
Article 1762 at 04/06/04 23:12:00 From: tmatsukijp@ybb.ne.jp Subject: [analog-jp:01762] Re: もしかして Yahoo のクローラーは Mozilla として認識されてしまう？
「ブラウザレポート」機能を使うには、analog の設定ファイルに次のような項目を追加すれば良い。
BROWSERREP ON
BROWREPCHART OFF
BROWREPCOLS NP
BROWREPSORTBY PAGES
BROWREPFLOOR -50p
ただし、最後の項目の数値（50）は、レポート出力数の制約を与えるものであるから、環境に応じてYSTクローラを把握できる範囲に調整すると良い。
