2日目の徹夜2008-09-03 Wed 04:00
くぅ~!!
今日は今日朝までに仕上げたサイトのリリース日。 日本時間22時(アメリカ時間6時)にサイトオープンなので切り替えまで別の仕事をして待機をしていたら、2時間半前に仕様の相違があってプログラムを変更。データ取得内容がかなり変更するために大変かと思ったけれど、さすが自分(笑)、今回の変更には対応できるように作ってありました。 それでもステージングサーバーでテストを行ったりで30分前までかかって、本番配置の準備完了が5分前でした。 迫りくるタイムリミット、まさにドラマの世界です! 無事にリリースが完了して、30分ほど本番で様子をみて問題なし。 別の仕事を終わらせて帰ろうとしとき、時間は23:30。 なぜかサーバーが重い。どのサーバーを見てもアップアップの状態。 げ、今回のサイトが原因かと思って色々と調べている中で次々とサービスが落ち始める。 ログをみるとクラスタリングされたTomcatが死んだり生き返ったりを繰り返している。 それにDBのコネクションも切れまくり。 なんですか、これ?な・ん・で・す・かぁぁ!! 時間は0:00を超えたけれど技術陣全員に連絡して調査開始。 原因はなんとDOS攻撃でした。 特定のIPからDB負荷のかかるリクエストが鬼のように来ていました。 早速このIPをブロックしてサービスを再起動。 平穏無事ないつもの状態へ戻りました。 マジで焦りました。 こんなときこそ冷静に対応しないとはいけないとわかっているのですが、いつものパターンに合致しないとき、打つ手がなくなるときというのは焦りますね。 それにしても頭きますねぇ、こういう輩。 まぁこのおかげで僕もシステムも1つ強くなりました(笑) 気づいてみたらとうに最終電車終了。 本日もオフィスへ泊りです(涙) スポンサーサイト
|
| HOME |
|