開発者blog

　EDIUNETがリニューアルしたということもあって、久しぶりにアクセス解析を眺めてみた。2/26の総リクエスト数が164,186。ただし、画像やらCSSやらを含んだ生ログなので、実質的なリクエスト数は4割ぐらい、すなわち70,000前後かと思われる。

　検索ロボットをピックアップしてみたところ、

2010年 2月26日(金)

1. msnbot: 29,159
   
2. Yahoo! Slurp: 19,569
   
3. Googlebot: 15,305
   

と言う訳で、msnbotが断トツに多い。

　念のためにEDIUNETのリニューアル前も確認してみると、2/23の総リクエスト数が138,594で、検索ロボットの内訳は以下の通り。

2010年 2月23日(火)

1. msnbot: 28,656
   
2. Googlebot: 12,198
   
3. Yahoo! Slurp: 3,166
   

　やはりmsnbotが多い。

　次に各検索エンジンが、EDIUNETをどれぐらいインデックスに登録しているかを確認してみた。

Google ウェブマスター ツール

https://www.google.com/webmaster...

• インデックスに登録されている URL: 2,887
  
• 最終更新日: 2010/02/27
  

サイトエクスプローラー（サイト管理者向けツール） - Yahoo!検索

http://siteexplorer.search.yaho...

• インデックス状況 約46,674
  
• 2010/02/26
  

Webmaster Center - Bing

http://www.bing.com/webmaster

• Indexed pages: 513
  
• Last crawled: 2010/02/24
  

　思ったよりもインデックス数は、Yahoo!が多く、Googleが少ない。MSNは…

　最後に検索エンジン経由のアクセス数を確認。期間は一ヶ月（2010/01/20 - 2010/02/19）。

Google Analytics

http://www.google.com/analytics/

1. yahoo: 9,163
   
2. google: 7,530
   
3. search: 246
   
4. bing: 142
   
5. live: 25
   
6. ask: 6
   
7. aol: 1
   

　あー、MSN（bingとlive）は少なすぎ。

　つまり、msnbotは連日のように30,000近くのリクエスト（画像等を除くと、実質的には10,000～15,000？）があるにもかかわらず、登録されたインデックス数は500ちょっとで、しかもMSN（bingとlive）からのアクセスはYahoo!やGoogleに比べると10分の1未満。
　サーバへの負担が小さくないので、robots.txtでDisallowしようと思ったが、取り合えずCrawl-delayで様子を見ることにした。

MSNBot および Web サイトのクロールに関する問題に対処する
http://help.live.com/Help.aspx?...

　上記ページを参考に、robots.txtには以下のように記述した。
　それにしてもmsnbotは大丈夫なのだろうか、このままではお役目御免になるのではないか。あまりにも効率が悪すぎる。
　現状では存在自体が謎だ。