読者です 読者をやめる 読者になる 読者になる

ニコニ広告の障害

あの伝説のニコニ広告に障害があったようです。職業病的に原意は何だろうかと考えてしまいます。

別に毎日チェックしてるわけではないですが、たまたま昨日の夜に試してみようと思っていろいろやってみたのですが、


1. 現象として、サイトが重くなったり軽くなったりしてたらしい(http://blog.nicovideo.jp/niconews/2009/03/002573.html)。僕も同じ印象。
2. たたいてみた感じだと、updateまたはinsertのトランザクションロールバックされてるっぽい
3. たたいてみた感じだと、ほかサービス(動画本体、ユーザーのポイント制御)との連携はうまくいってるっぽい


ので、広告サービスまわりのap/dbのスケールアウトの設定をミスってるとか(負荷分散されてないとかね)、ap側のキャッシュの整合性がとれてないとか、そういうことなんじゃないかと妄想。ぱっとみた感じでは、タイムアウトっぽい落ち方をしていたのと、タイミングによってselectにも失敗してるっぽかったので、apの問題な気もします。もちろん、中途半端な更新がcommitされる事態にはなってないので、そのへんは(当然)しっかりしてるのだと思います。

stress testの時間を多めにとってリリースなスケジュールなのだと思いますが、火曜に障害が発生して週末リリースまでとなると、いろんな事情からせっつかれて無理なスケジュールで週末までリリースな気もします。


全部妄想ですけどね。


まぁ、前々から思っていたのですが、僕の所属する会社が作っているようななんたらシステムよりも、mixiとかはてなとかニワンゴとか、こういうシステムの方がアーキテクチャ的には面白そうに見えたりします。ニコニコ動画本体には影響がなかったようなので、きっと「ちゃんと」疎なサービス連携で実装されてるんだろうな、とか思ったりして。mixiとかは.plが見えてますが、ニコニコは隠してるので、なにで実装してるのか、気になります(もちろん、表示する拡張子を偽装したりできるわけですが。http://httpd.apache.org/docs/2.0/mod/mod_rewrite.htmlとか。apacheのサイトが新しくなってることにこれみて気づきました)。

こういうサービスに障害はつきものですが、この時期にサービスインが遅れると決算にも影響が出ると思われるので(ユーザーがポイントを買って宣伝するシステムなので)、同業の方には頑張ってもらいたいと思います。





















べっ、別に毎日ニコニコ動画をチェックしてる訳じゃないんだからねっ!!