象本:Chapter10 Administering Hadoopの第一版/第二版の差分をみてみたよ

Administeringってスペル難しいですね。そういえば、昨日Administrator試験を受けて受かりました。一発合格やったね。

もしかして、dev/admin両方持ってるのは日本じゃ僕だけじゃないですかね。お金もかかったことだし、せっかくなので自慢しておきます。役に立つか知りませんが、勉強にはなったので良かったと思います。あ、英語の勉強にもなりましたね。


試験は受かりましたが、一応続けて確認していこうかと思います。

【前書き】
・変更なし

【Persistend Data Structure】
・変更なし

【Namenode Directory Structure】
・変更なし

【The Filesystem Image and Edit Log】
・変更なし

【Secondary Namenode Directory Structure】
・変更なし

【Entering and Leaving Safe Mode】
・変更なし

【Audit Logging】
・変更なし

【dfsadmin】
・変更なし

【Filesystem Check(fsck)】
・変更なし

【Finding the Blocks for File】
・変更なし

【Datanode Block Scanner】
・変更なし

【balancer】
・変更なし

【Monitoring】
HADOOP-3628関連の記述が削除。対応おわってる感じでもないし、なんでだろ。

【Logging】
・変更なし

【Setting Log Levels】
・変更なし

【Getting Stack Trace】
・変更なし

【FileContext】
・変更なし

【GangliaContext】
・変更なし

【NullContextWithUpdateThread】
・変更なし

【CompositeContext】
・変更なし

Java Management Extensions】
・変更なし

【Metadata Backups】
・変更なし

【Data Backups】
・変更なし

【FileSystem Check(fsck)】
・変更なし

【FileSystem Balancer】
・変更なし

【Commissioning and Decommissioning Nodes】
・変更なし

【Commissioning New Nodes】
・変更なし

【Decommissioning Old Nodes】
・変更なし

【Upgrades】
・変更なし

【HDFS Data and Metadata Upgrades】
・変更なし

【Start the Upgrade】
・変更なし

【Wait Until the Upgrade is Complete】
・変更なし

【Check the Upgrade】
・変更なし

【Roll Back the Upgrade(optional)】
・変更なし

【Finalize the Upgrade(optional)】
・変更なし


あれ?



読み落とし。
・fsimageの内部表現として、ファイルごとにinodeというのを持っていて、それがメタデータの実体の一部っぽい。inodeって多分linuxのじゃなくて、意味的には同じだと思うけどjavaで実装してるもののことをいってるんじゃないかと。
・fsimageのなかには、どこにブロックがあるかは持ってなくて、メモリ内部にしかない。リストアのときはデータノードにブロックのリストをもらって対応付けしてメモリで持っておく。
・セカンダリーネームノードは上記のinodeとブロックの対応付け両方を(要するにメモリにあるメタデータ全部)をチェックポイントでコピーする
・小さいクラスタなら、最小複製状態の確認後からセーフモードを抜けるまでの待機時間を0にしてもおk
・distcpってHDFS以外のもいけるんだ
・っていうか、HDFSバグってたらどうしようみたいな話が書いてあるのはどうよ。


ということで、ほとんど変更ないですね。