いつも当ブログをご利用いただきありがとうございます。
一部cgiプログラムへのアクセス過多により本日18時30分頃から20時25分頃までサーバーが不安定になりアクセスのしにくい状態が続いておりました。
その時間にアクセスいただいた皆様には大変ご迷惑お掛けいたしました。現在は回復して正常にアクセス出来ます。
原因はヤフーのクローラーが負荷のかかるCGIプログラムに同時にアクセスを試みたからのようで。未だにこんなクローラーがあるのか・・・前はGooのモバイル検索エンジンのクローラーがやってくれた覚えがあるが・・・。
ホスト名はmocr53.search.ogk.yahoo.co.jp(mocrの後の数字がいろいろあるようで)でユーザーエージェントが
KDDI-CA33 UP.Browser/6.2.0.10.4 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
サイトにアクセスしてみるとヤフーモバイルのクローラーのようで。
やはりクローラー対策はしておかないと駄目か。適度にアクセスしてくれる分にはいいんだけどね。
ある程度の負荷になったら自動的にHTTPDを再起動するようにはなっているんだけどそれの何回か繰り返してようやく正常な状態になったらしい。ログを見ているとそういう感じだった。