おおーいMSN! オタクの中のアイツをなんとかしてください。

2012年11月30日

サイト制作とかしない方にはなんの関係も無いネタです。
検索エンジンはGoogleだけじゃなくて、MSNのbingというのもありまして、たとえばFacebookはこれを使っているのは業界人なら皆さんご存じのはず。

一昨日、わたしがビジネスコンサルしている某サイトの、ショップ含めた全部分のWordPressに載せ替えが終了し、DNSを切り替えました。ページ数も数千にわたり、アクセス数もかなりあるサイトなので、サーバはかなりスペックが高いQuadコアの専用サーバ。普通ならアクセス数千人/日くらいなら全く問題なのですが・・・

切り替えて１日経過した昨日の12時過ぎ・・突然、サーバ落ちました。というか、セッション溜まりすぎで反応もしなくなり、デブート（再起動）。しかしアナリステイックスで見てもそもそも切り替えたばかりでたいしたアクセスは来ていない。

誰がやったのか・・・思わず走る緊張・・・攻撃なのか?!

サーバ会社のカゴヤにログを調べてもらうと（運用サービス付きのマネージド専用サーバなので・・）

MSNのbot???
マイクロソフトからの攻撃?!

そう、MSNの検索エンジンBingが、物凄いアクセスしていたのでした。詳しいログをもらって見ると、１秒間に何回も何回も来てます。普通に静的なページ（もうhtmlとかができあがってる）を見てるなら同時に数百人来ても平気だが、ともかく、検索をガンガンと乱れうちの太鼓のように叩きまくってる。botのくせになにを探したいんだか、なんか興味のあるものでもあるんか・・・(ちなみにbotってプログラムなので人間じゃ無いです。人間なら１秒に何回も検索できないでしょ)

サーバに要求が溜まりすぎてついに疲れ切って止まってしまったということです。引っ越ししてサーバが変わって階層構成も変わったので一からインデックスを作りたかったのかもしれないが、それにしてもサーバ落とすとは、恐るべしBing!!

どうも、こいつ、暴走の気があるようです。こちらにも被害者の声が出ていました。対処法も出てたので設定させていただきました。

bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した

恐ろしく細かいネタでしたが、サーバを引っ越しした後は要注意です。