2012年をふりかえってみると

ふりかえってみるとシリーズ2012年度版です。

2012年は全体としてろくなことがなかったというような印象で、まあ大体そんな感じでした。いろんなものが昨年度版の感想やら印象から進歩していなくて、貴重な20代の1年を無駄にするというような印象は年度中盤から抜けることはなく、まあ別にそれでもよいか、という心の整理をして、そのまま進んだ結果という事になるかと思います。1年無駄にする判断は自分でしているので、どうしようもないといえばどうしようもないですが。


昨年度版の感想 http://d.hatena.ne.jp/marblejenka/20111231/1325295660 からですが、

来年の目標ですが、まあこういうのは願望を書くものだというのがわかってきたので、適当に。

・英語のお勉強、というか海外旅行がしたいですね。シンガポールとか東南アジア方面をバイクか自転車で回るとか。結構前にジムロジャーズの本を読んで以来やりたいことではあったけど、自分探し的な感じであれかなあと思ってて、とはいえ見聞の狭さは如何ともしがたく。最近は割とまじめに検討中。

結局これはやらなかった。富士山いったのが唯一の旅行で、海外行くとしたらまた会社を辞めるか停めるかして行くというのが妥当かなと思っています。富士山は楽しかったです。今年で一番楽しかったかも。

・そろそろ20代後半の人生の終盤戦に突入しそうな感じもあるので、身の振り方についてはどこかで再整理したい感じはあります。たぶん30代ではエンジニアはやっていないと思うので、そのへんですね。

心の整理はついていないですが、職業選択よりはモチベーションの問題に帰着させた方が前向きで無邪気な20代としてむしろ有意義な人生が送れる可能性もあります。

・仕事方面はいろいろおろそかすぎるので、どうにかしたい感じです。まあだめだったら会社が潰れるだけなので、それはそれで。僕のセンサー的にはそれなりに成功するはずではあるのですが、いろいろ貧乏籤ですね。

この状況から変化はないですし、解決策も見えていない状況ですね。そもそも、僕が問題だと思うところが問題ではないのかもしれません。

変化の時代においては取捨選択が重要であるので、来年の目標にしないことも。

・技術レベルの向上はとりあえずいいかなあと。どちらかといえば実業方面に舵を切ることになるのと、とはいいつつも技術的な仕事はするけど基本的にここ数年の蓄積を使うだけになる想定。まじめにやるならもうちょっと先をみて技術に対して時間を投資すべきなんだけどエンジニアとしての成功モデルを考えると不要なものに時間を割きすぎているのとで、来年は明確なゴールはつくれなさそう。

「実業方面に舵を切ることになる」(笑)とかいっていますが、結果としては茶番に終わっています。と、それとは関係ないですが、「ここ数年の蓄積を使うだけになる想定」というのがどの程度前に進んでいない感覚になるかというのはわかりました。お湯が抜けきるまでバスタブに入り続けるとかそんな印象で、ポジティブに技術選択をしたつもりですが閉塞感は募るばかりでした。やったことは、YARN/Impalaと、あとScalaでちょっと遊んだくらいです。ここでやりたい議論ではないですが、YARN/Impalaは出た瞬間オワコンなところがあるので、結局「エンジニアとしての成功モデルを考えると不要なものに時間を割きすぎている」という印象はあります。

・TOIECとかのスコア。まあTOIEC自体どうなのかという話もあるけど、とりあえず来年/再来年くらいだとこのへんの試験勉強とその結果が必要なアクションはとらない予定。再来年はやらないといけないかも。

これはちゃんと投資していないのでokです。

・彼女とか。よく考えると要らない。

これも。


さて、今年度の失敗を受けて来年やることですが、正直どうしたものかわからないというところはあります。子曰く、で考えるとまだ立ってもいないので、それもそんな感じである、というような悟りを開いたと考えれば、前向きになれなくもないです。

・技術観点ではビジュアライズまわりをやりたいと思っています。本当は昨年目標にしようとして結局やめておいたのですが、データ量が大きいとか、複雑な構造を相手にするときには、統計的手法のうち可視化の技術の方が支配的な要因になる気がしています。あと、うまく可視化すると誰でもわかる的なところまで還元できるので、つぶしがきくかなと。
・体重を減らすのと、健康になるのと。全体的な流れとは関係ないですが、結局健康でないとできることに限りが出てくるという側面はあるので、そのあたりには本格的に注意したいと思います。生活習慣の割には血液検査はこれまでそこそこ優秀だったので油断していましたが、年齢の割にははやくもポリープがあることが最近わかったので、抜本的な生活習慣の改善を目指します。

とりあえずはそんなかんじです。

あと、全然関係ないですが、ブログを移動することにしました。 http://marblejenka.blogspot.jp 度々、旅で撮った写真をあげてたのですが、容量的に限界のようなので。

ではよいおとしを。

fitbit aria

富士山に遊びに行ってからダイエットをしています。それなりにまじめにやろうということで、9月くらいからfitbit ariaを導入しました。導入したタイミングではamazon.comで買った方が安かったです。

http://www.fitbit.com
http://www.fitbit.com/product/aria

fitbit ariaというのは偉い体重計みたいなもので、体重計に乗るとwifiでfitbitのサイトに体重・体脂肪を飛ばしてレコーディングしてくれるものです。偉い万歩計みたいなものもfitbitシリーズにあって、なんというか生体、自分のね、情報収集マニアみたいなひとがいるようで、そういうひとはいろいろなデバイスでビッグデータしてるらしいです。あと、fitbitにはiphone appがあるのですが、ジャパンのアイチューンズではバイできないので、導入したいひとは気をつけたらいいと思います。

今年中に75kgブレイクが目標でしたが、今のところ76kgぐらいな感じなので、目標ならずでした。fitbitのサイトを見るとこんな感じで推移がでます。


fitbit側が補間してるので、後半すごい太っているような感じに見えますが、それほどのあれではないです。
年末年始に試そうとしているggplot2でかくと下記のような感じ。


まだ使いこなせてないですが。気分的に、体重のボラティリティと体調が逆相関していて、調子悪いと体重が変動しやすいというような傾向があることがわかりました。


来年は半年で3kgづつ痩せて、70kgブレイクを目標にしようと思います。

はらいたいら

あんまり痛くはないのですが、ここ一週間ほど血便が酷かったので、人生初の肛門科に行ってきました。というのも、なんやかんや調べたら自分の症状が大腸癌がそこそこ進行した時の症状と完全に一致しており、ちょっと本気で死ぬかもしれないというのがあったので。あと、大学のときに、僕はあまり野菜を食べないのですが、それを理由に、お前は大腸癌で三年以内に死ぬ、と宣告されたことがあったからです。よゆうでさんねんいじょういきてますが。

というので、人生二回目くらいの本格的な生命の危機を感じ、さすがに病院に行くことにしました。結局、癌ではなく痔だったようなので大事には至らないですが、最近妙に身体の調子が悪いなと思ったらそういうあれももっていたようです。肛門科というと完全に芸人のネタのためにあるようなイメージしかなく、自分もずいぶんと年をとったものだなと思います。じじゃなくてぢですね。年ととったというかなんというか、自分の人生でこういった病気をすることになるというのが残念でなりません。大人の階段をまた一つ。

ちなみに、ぢは年齢生活習慣関係なく発症するものらしく、日本人だとだいたい二人に一人がぢもちらしいです。ただ、同時にポリープも二つほどあったようで、こちらは完全に生活習慣です。ポリープは癌化するおそれがあるので、まあ当然ですが、ない方がよいものです。

昨年は救急沙汰を二回経験して煙草をやめましたが、今年、というかほぼ実質的に来年以降は飲酒も控えようと思います。個人的に、死ぬことそのものは実はそれほど怖くはないのですが、病気というか、身体の内部を蝕まれることによる死のイメージには耐えられないです。精神もやられるし。事故はいいけど病気はだめというのもナンセンスな気はしますが。

あと、それとは関係なく、過敏性腸症候群(IBS)的な症状が小学校の頃からあったのですが、実は効果のある薬が存在するらしいです。一般に知られているかはわからないのであれですが、同様の症状で困っている人は肛門科に行けばよいと思います。

年の瀬にだいぶあれですが、大腸じいさんとガンだとおもえばしょうがないかもしれません。

drip

https://github.com/flatland/drip

JVMのプロセスをプールすることによって見かけ上のVM起動をはやくしてくれるもの。起動したJVMclasspathとVM引数毎にハッシュであれして個別に管理する。似たようなものよりはいけてるらしいけど、似たようなものをよく知らないのでそれと比較してどこがよいのかは(READMEに書いてあるけど)よくわからない。とりあえずdirtyになりづらいらしい。


対応している(というかインストラクションがある)のは、Clojure/Scala/JRuby/Mavenで、 https://github.com/flatland/drip/wiki このへんのドキュメントを参照すればどうにかできる。dripそのもののインストールは、homebrew/macを使用しているなら brew install drip でよい。

導入について、drop-in replacementな仕組みで、ようするにJAVACMDという環境変数の設定値を(使用しているプロダクトについては)javaからdirpに差し替えるとこの見かけ上の起動の高速化の恩恵が受けられる。ただ、結局JVMのプロセスをプールしているだけなので、たとえばscalaのreplを起動するときには起動後の処理もあると思われるので、超速くなるというほど超速くなるというわけではない。でも大体半分くらいにはなるので、VMの起動がストレスに感じられる人にはよいと思う。個人的には体感でわかる位の差にはなるので、興味のある人は試して見るとよいと思う。

実測値は以下のような感じ。半分というほどでもないけど、900ms→650msくらい。初回はプールがないので、1000msくらいはかかる。

marbleair:sources marblejenka$ export JAVACMD=java
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.917s
user 0m0.751s
sys 0m0.079s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.908s
user 0m0.759s
sys 0m0.078s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.882s
user 0m0.725s
sys 0m0.079s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.987s
user 0m0.813s
sys 0m0.095s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.909s
user 0m0.735s
sys 0m0.079s
marbleair:sources marblejenka$ export JAVACMD=drip
marbleair:sources marblejenka$ drip kill
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m1.099s
user 0m0.910s
sys 0m0.118s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.633s
user 0m0.065s
sys 0m0.081s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.649s
user 0m0.066s
sys 0m0.083s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.632s
user 0m0.072s
sys 0m0.096s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.711s
user 0m0.074s
sys 0m0.095s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.623s
user 0m0.067s
sys 0m0.081s

HadoopコマンドもいちいちJVMをあれするのでうまく組み合わせられないか検討しましたが、いまいちうまくいかない感じでした。

453c453,454< _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s $JAVA --"

    • -

> # _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s $JAVA --"
> _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s /usr/local/bin/drip --"
455c456,457< _JAVA_EXEC="$JAVA"

    • -

> # _JAVA_EXEC="$JAVA"
> _JAVA_EXEC="/usr/local/bin/drip"

こんなんでbin/hadoopをかえればいいんじゃないかとおもったけどあかんかった。

Hadoop in Practiceを読んだよ

そういやあるなあとは思いつつ、特にモチベーションもなかったので読んでなかったけど、 http://blog.cloudera.com/blog/2012/11/the-new-hadoop-in-practice-book-a-chat-with-the-author/ でその存在を思い出したので、読んでみました。全体的にわかりやすいし勉強になりました。ベリサインの(たぶんかなりの)Hadoopヘビーユーザーが書いたと言うこともあるのだろうけど解説に違和感もないし、著者のブログ http://grepalex.com であるような絵にコメントを入れるスタイルもなかなかいい感じです。

解説の中には基本的な事柄をHadoop in Actionを参照するようにとしているところもそれなりにあるため、Hadoop初心者というよりは一定以上の経験がある人向けと思います。例外的に、Capter1は20ページ程度で細かすぎず概観過ぎずなHadoopのイントロダクションがあり、ここについては初心者向けです。象本はいきなり無駄に細部に入るようなところがあるので、そういうのが苦手な人もいいかもしれないです。

章立てはおおむねHadoop Hacksと同様の問題解決形式ですが、やや恣意的に問いを立てている箇所もありますが、Hadoopのエコシステムだとほぼ似たような問題解決をするようなツールが複数あることがあり、その辺のツール側の比較をやっているのがよさげポイントです。個別の論点では、経験があるところについては経験の方が強いくらいの詳しさにだいたいなると思いますが、解説している分野が広いのでためになります。Hadoop HacksにあってHadoop in Practiceにないのは、HBaseとZookeeperくらいですかね。

読み始めたときは、ClouderaのブログでみたのでClouderaの人が書いたものだと思っていて、やや網羅感に欠けた記述があったのであれだなあとか思いましたが、正直この内容の本を一人で書ける技術レベルと根性は尊敬に値すると思います。

あとは備忘録をまとめておきます。

Part 1 Background and Fundamentals
・HDFSとJobTrackerの仕組みを簡潔にまとめつつ、インストールと疑似分散モードでの実行まで20ページでまとめていて、非エンジニアでもこのくらいの内容は理解していて欲しい位のちょうど良さです
・Figure 1.4の"Job Parts"が明らかに"Task"なので語用が誤用であるように見えますが、まあそのくらいです

Part 2 Data Logistics
・第二部ですがまず名前がかっこいいです。転送とフォーマットの話なので適切かと
・Flume/Chukwa/Scribeの比較があり、そういえばChkwaとか存在したよなあというのが思い出せます
・slurper https://github.com/alexholmes/hdfs-file-slurper というかなりナイーブだけどライトなデータ転送ツールの紹介とか
・フォーマットとリーダーのあたりはソースも交えつついい感じに解説されています。この辺の話題を確認するのに象本とかよりこっちのほうがいいのではないでしょうか。そこそこわかってたらHadoopのソースをみたほうが速いという話もありますが
・ネストの深いJSONのテキストを入力としてどうあつかうかという話題は、この手の話で悩むようなことをしていないので、参考になりました
・Sequence File/Protocol Buffer/Thrift/Avroの比較とか。Trevniの話題もあったと思いますが読み返したら書いてなかったです。余談ですがTrevniは今はAvroにマージされたっぽいです https://github.com/cutting/trevni
・あとはImput Formatを自分で書くとか

Part 3 Big Data Patterns
・名前がだめそうですが、第二部の補になってる感じで、データを動かした後の話です。一部そういうくくりじゃないところもありますが
・結合戦略では、Repertition Join(Merge Join)/Replicated Join(Hash Join)/Semi Joinの解説があります。Semi Joinはあんまり解説してくれているところがなかったのですが、Hadoop MapReduceでの実装方法と、別の章でBloom Filterを使用した効率化(効率化される場合における効率化、、というかこのへんの機微ははどう書いたものやら)をやっていてくれていい感じです。skewの考慮は別立てであとで出てきます
・ソートは象本と比較して目立った話題はないです
・サンプリングを章で切ってますが、これも目立った話題はないです。たぶんreduce inputのskew考慮の話題と絡めてこの辺を整理しようとして、記述バランスが悪いけどタイムアウトした感じのあれだったと思います
・小さいファイルがたくさんある場合の問題をどう解消するかという話題。主に解説されているのはAvroでまとめる方法だけど、CombineFileInputFormat/mapred.job.reuse.jvm.num.tasks/tar/har/Federationにもちょっとだけ触れている
・圧縮のコーデックの話。これも目立った話題はなく、splitしたいならLZOPだけどインデックスめんどいならbzip2で、splitいらないならsnappyで、という
・あとは性能周りのはなしで、ヒストリログをつかった性能分析という観点で何かと詳しい。あと自分がもってるツールとかぶるところもあったけどまあそれはそれ
・こういう問題があったらJobTrackerのWebUIのこのへんをみてね、という整理なので、このへんを真面目に見たことない人にも良さそう
Hadoopのチューニングパラメーターの話題は貧弱だけど、最低限で余計なことをしない、という振り方ならこのぐらいがいいのかも、という感も。Clouderaのマテリアルとかぶるというあれもあると思いますが。そういえばdfs.datanode.drop.cache.behind.writesとかのとかはどうなんですかね
・観点としてOSのメトリクスをちゃんと見ようというのがあって、ちゃんとOSのメトリクスは見ましょうね、というのが確認できてよい
・Techinique 46 Avoid the Reducer、というのが何ともいえない雰囲気を醸し出すけど、これも基本なんだよね。何ともいえない雰囲気だけど
・skewの話題は分析がめんどいので悩ましいけど、悩ましいですね
・あとはオブジェクトのメモリ消費量の話題で、このへん本来的にはセンシティブだという話。データが巨大だとこの程度の内容でも性能にはねるので

Part 4 Data Science
・Data Scienceってかっこいいですね
・グラフの話。別にデータ量がよほどでかくなければHadoopじゃなくていいというのはあると思いますが、みんな好きですよね。あんまり詳しくないけど、FoFの分析とかをケーススタディとして見ると、そんなに詳しくない人にとっては面白いと思います。僕とか
・Bloom Fileterをつくる話と、Bloom FilterでSemi Joinを効率化するというのが227p以降で書いてある
・Rとの統合の話。この辺も詳しくないのでわかめ。ていうかRでMapReduce書けてなにがうれしいのか理解できない
・Mahoutも詳しくないので真面目に読んでない。Mahout in Actionが邦訳されているので、そっちみたほうがいいんじゃないかとは思う
・個人的には、この辺の話題はここで整理されているところまでは追試してキャッチアップしておきたい

Part 5 Taming the Elephant
・Hive/Pig/Crunch/Cascadingとテスト周りの話
・Hiveのパーティションとバケツは僕的にクリアになっていなかったので、そのへんの概念的なものがサンプリングとか実用的な観点で説明されているのはよかった
・Hiveの結合戦略にはなぜかBucket Joinの解説がのってない。別にいいけど
・このぶたやろう!このへんも概念的なところの整理がちゃんとしてていい感じ。気づいたけど象本って文法解説的な感じなんだよね。あんまクリアじゃない。触る前に読んでたからかもしれないけど
Crunch/Cascadingは位置づけとしてイマイチ腑に落ちないところはありましたが、MapReduceの抽象化に寄せているのがCrunchで、データフローの抽象化に寄せてるのがCascadingという整理でよいと思った。どっちかというとScrunth/Scaldingに興味はあるけど、このへんも触ってない

appendix
Hadoop built-in ingress and egress toolsはそんなに有益ではないと思うけど、どういう手段があるかについて網羅的な気がするので、そういう時に見ると思う。あと、ちらっとHoop/WehHDFSがのってる
・Optimized MapReduce join frameworksのは、Part3でも触れられているcontribのやつで、むかししょぼかったけど改善されている気もするので、気が向いたら

という感じでした。象本も新しいのが日本語ででたら読んでもいいなあと常々思ってますが、まあそういう感じです。Part4のあたりは気を向けて追試したいと思います。

impalaあきらめそう

紆余曲折あったのでとりあえず心の平穏を取り戻すために整理します。

・手元の環境がubuntuで、これにimpalaを入れようとしてみた
・cloudera manager free editionで入る雰囲気(インストール可能なプロセスとして表示される)でインストールも成功したかのように表示されるけど、プロセスの起動には失敗するという現象が起こる
・なんやかんやでcentosの6.2でないとだめな事に気づく
・別にcentos5.7のhadoopクラスタがあって、いろいろ相談した結果、二つのクラスタをまとめて新しい一つのクラスタにしようということになる
・HDD入れ替えしたりとか配線をあれしたりとかいろいろ物理的な作業をしたりとかしてつかれる
・マシンのふたを閉めるときに腕の皮を挟んで非常に痛い思いをする
centos 6.2をインストールしたらなぜかnicのデバイスドライバがなくて困る
デバイスドライバをダウンロードして入れようとしたらmakefileが腐ってるっぽくてインストールができない
・あきらめてec2のcentosにcloudera managerでimpalaを入れようとしたら以下の様なエラーになる

  1. IMPALA_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf
  2. export HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  3. HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  4. export HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  5. HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  6. export HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  7. HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  8. FLAG_FILE=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  9. perl -pi -e 's#{{CMF_CONF_DIR}}#/var/run/cloudera-scm-agent/process/50-impala-IMPALAD#g' /var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  10. '[' impalad = impalad ']'
  11. exec impalad --flagfile=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags

E1109 04:25:51.845830 2008 timestamp-functions.cc:420] Could not create temporary timezone file: /tmp/impala.tzdb.X5y4lxh
E1109 04:25:51.931691 2008 impala-server.cc:650] java.lang.RuntimeException: Failed to initialize default Hive configuration variables!
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:714)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:885)
at org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:846)
at com.cloudera.impala.catalog.Catalog.(Catalog.java:55)
at com.cloudera.impala.service.Frontend.(Frontend.java:73)
at com.cloudera.impala.service.JniFrontend.(JniFrontend.java:46)
Caused by: java.io.IOException: Permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.checkAndCreate(File.java:1704)
at java.io.File.createTempFile(File.java:1792)
at java.io.File.createTempFile(File.java:1828)
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:703)
... 5 more

いろいろ余計なことをしたり余計なところでトラブってるのもあってあれですが、初めてhadoopで完全分散環境をつくろうとしたときもこれほどストレスを感じてはいなかったと思い起こされるところではあります。

Hadoopのヒストリログとか

JobTrackerのWebUIを見るとTaskAttemptの情報なんかが出てきますが、Asakusa Frameworkなんかをつかっていると、複数のMapReduce Jobのsubmissionになるので、1アプリケーションでのjob submission横断的に見たいなあということで、自前で実行結果の情報をとる方法がないかHadoopAPIとかログとかを調べました。

欲しい情報は、カウンタとかもあるのですが、WebUIだと、TaskAttemptがどのノードでどのくらいの時間動いたかまでわかるので、その辺まではとりたいです。

結局採用したのは、TaskAttemptレベルの情報を持っていて一番扱いが楽そうなのはHistory Logで、他はいろいろ欲しい情報が足りなかったりで使えなさそうだったのですが、せっかく調べたのでいろいろ書き残しておこうと思います。調べた路線は下記の様な感じです。

・JobSubmissionProtocolの実装を使う系
・WebUIのhtmlを気合いでパースする系
Hadoopのログを気合いでパースする系

以下詳細です。
・JobSubmissionProtocolの実装を使う系
JobSubmissionProtocolはインターフェイスで、名前と違ってジョブの実行情報がとれる口があったりします。インスタンスをとるのはorg.apache.hadoop.mapred.JobClientあたりを見ておけばいいとして(それも結構めんどくさそうでしたが)、情報がとれそうな候補は、

  /**
   * Grab a handle to a job that is already known to the JobTracker.
   * @return Profile of the job, or null if not found. 
   */
  public JobProfile getJobProfile(JobID jobid) throws IOException;

  /**
   * Grab a handle to a job that is already known to the JobTracker.
   * @return Status of the job, or null if not found.
   */
  public JobStatus getJobStatus(JobID jobid) throws IOException;

  /**
   * Grab the current job counters
   */
  public Counters getJobCounters(JobID jobid) throws IOException;
    
  /**
   * Grab a bunch of info on the map tasks that make up the job
   */
  public TaskReport[] getMapTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the reduce tasks that make up the job
   */
  public TaskReport[] getReduceTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the cleanup tasks that make up the job
   */
  public TaskReport[] getCleanupTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the setup tasks that make up the job
   */
  public TaskReport[] getSetupTaskReports(JobID jobid) throws IOException;

このへんかなと。もらえる情報はそれぞれ、

public class JobProfile implements Writable {
~
  String user;
  final JobID jobid;
  String jobFile;
  String url;
  String name;
  String queueName;

JobStatus

public class JobStatus implements Writable, Cloneable {
~
  private JobID jobid;
  private float mapProgress;
  private float reduceProgress;
  private float cleanupProgress;
  private float setupProgress;
  private int runState;
  private long startTime;
  private String user;
  private JobPriority priority;
  private String schedulingInfo="NA";
  private String failureInfo = "NA";

Counters

~
  // Map from group name (enum class name) to map of int (enum ordinal) to
  // counter record (name-value pair).
  private Map<String,Group> counters = new HashMap<String, Group>();

  /**
   * A cache from enum values to the associated counter. Dramatically speeds up
   * typical usage.
   */
  private Map<Enum, Counter> cache = new IdentityHashMap<Enum, Counter>();

TaskReport

public class TaskReport implements Writable {
  private TaskID taskid;
  private float progress;
  private String state;
  private String[] diagnostics;
  private long startTime; 
  private long finishTime; 
  private Counters counters;
  private TIPStatus currentStatus;

という感じです。JobProfileはJob単位なので情報少なすぎ、JobStatusも同様、Countersは欲しいけどそれだけだとあれだなあという感じで、TaskReportはすごい期待したのですがこれもTask単位で、どのノードで動いたかわからないのが微妙、という感じでした。


・WebUIのhtmlを気合いでパースする系
いやでもWebUIにでてるんだからどこかに情報はあるはず、ということでWebUIのコードを見ました。詳細がでているURLをみると、taskdetailshistory.jspなどの文字があるので、その辺を調べました。

~
  String logFile = request.getParameter("logFile");
  String tipid = request.getParameter("tipid");
  if (logFile == null || tipid == null) {
    out.println("Missing job!!");
    return;
  }
  String encodedLogFileName = JobHistory.JobInfo.encodeJobHistoryFilePath(logFile);

なんかファイルのパスを渡しています。なんやねん。JobClientみても意味ないじゃん。いろいろ辿るとjobtracker.jspからパラメーターで引き回していることがわかり、結局のところログを直接見れば欲しい情報があるということがわかりました。


Hadoopのログを気合いでパースする系
ということで、ログを調べます。上のコードに"JobHistory.JobInfo.encodeJobHistoryFilePath"とあり、この辺なんかをみると、

http://www.cloudera.com/blog/2009/09/apache-hadoop-log-files-where-to-find-them-in-cdh-and-what-info-they-contain/
http://www.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/

欲しいログはヒストリログと呼ばれているものだということがわかりました。

Job Statistics
These logs are created by the jobtracker. The jobtracker runtime statistics from jobs to these files. Those statistics include task attempts, time spent shuffling, input splits given to task attempts, start times of tasks attempts and other information.
The statistics files are named:
___

2) In the Job History
Key: hadoop.job.history.location
Key (H21): mapreduce.jobtracker.jobhistory.location
Default: file:///${hadoop.log.dir}/history
Retention: up to a max. of 30 days (see General Job File Notes below)
Note: The value for this key is treated as a URI, in other words you can store the job files in HDFS or on the local file system (which is the default).
3) Per Job
Key: hadoop.job.history.user.location
Key (H21): mapreduce.job.userhistorylocation
Default: /_logs/history (can be "none" to disable)
Retention: forever
You can print the info contained in those files using the hadoop command line script like so:
hadoop job -history
This implies that the above command expects the path to be on HDFS. In other words you cannot use it to display the other job files stored on the local disk for example.

この辺を参考にしました。場所はローカルファイルシステムまたはHDFSに配置させされるし、名前のJobIDが入っているので、その辺はうまいことやれば情報がとれると。中身はわさわさしてます。

Meta VERSION="1" .
Job JOBID="job_201210031529_0001" JOBNAME="PiEstimator" USER="root" SUBMIT_TIME="1349245808278" JOBCONF="hdfs://mapr01:8020/tmp/hadoop-mapred/mapred/staging/root/\.staging/job_201210031529_0001/job\.xml" VIEW_JOB="*" MODIFY_JOB="*" JOB_QUEUE="default" .
Job JOBID="job_201210031529_0001" JOB_PRIORITY="NORMAL" .
Job JOBID="job_201210031529_0001" LAUNCH_TIME="1349245808751" TOTAL_MAPS="10" TOTAL_REDUCES="1" JOB_STATUS="PREP" .
Task TASKID="task_201210031529_0001_m_000011" TASK_TYPE="SETUP" START_TIME="1349245808752" SPLITS="" .
MapAttempt TASK_TYPE="SETUP" TASKID="task_201210031529_0001_m_000011" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000011_0" START_TIME="1349245809202" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="SETUP" TASKID="task_201210031529_0001_m_000011" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000011_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245810021" HOSTNAME="/default-rack/hdslv01" STATE_STRING="setup" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(123105280)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(200)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1448828928)]}" .
Task TASKID="task_201210031529_0001_m_000011" TASK_TYPE="SETUP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245810028" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(123105280)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(200)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1448828928)]}" .
Job JOBID="job_201210031529_0001" JOB_STATUS="RUNNING" .
Task TASKID="task_201210031529_0001_r_000000" TASK_TYPE="REDUCE" START_TIME="1349245811187" SPLITS="" .
Task TASKID="task_201210031529_0001_m_000002" TASK_TYPE="MAP" START_TIME="1349245811251" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0001_m_000000" TASK_TYPE="MAP" START_TIME="1349245812139" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000001" TASK_TYPE="MAP" START_TIME="1349245813030" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000003" TASK_TYPE="MAP" START_TIME="1349245813031" SPLITS="/default-rack/hdslv06" .
Task TASKID="task_201210031529_0001_m_000004" TASK_TYPE="MAP" START_TIME="1349245813032" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000005" TASK_TYPE="MAP" START_TIME="1349245813048" SPLITS="/default-rack/hdslv03" .
Task TASKID="task_201210031529_0001_m_000006" TASK_TYPE="MAP" START_TIME="1349245813050" SPLITS="/default-rack/hdslv08" .
Task TASKID="task_201210031529_0001_m_000007" TASK_TYPE="MAP" START_TIME="1349245813050" SPLITS="/default-rack/hdslv05" .
Task TASKID="task_201210031529_0001_m_000008" TASK_TYPE="MAP" START_TIME="1349245813051" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000009" TASK_TYPE="MAP" START_TIME="1349245813052" SPLITS="/default-rack/hdslv08" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000002" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000002_0" START_TIME="1349245811254" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000002" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000002_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245812923" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part2:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667701248)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(500)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1469227008)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000002" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245813062" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667701248)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(500)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1469227008)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000008" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000008_0" START_TIME="1349245813062" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000008" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000008_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814917" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part8:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639553536)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430839296)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000008" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814920" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639553536)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430839296)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000009" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000009_0" START_TIME="1349245813063" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000009" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000009_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814931" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part9:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(663744512)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(550)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1431617536)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000009" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814935" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(663744512)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(550)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1431617536)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000006" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000006_0" START_TIME="1349245813059" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000006" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000006_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814994" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part6:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639393792)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1386078208)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000006" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814998" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639393792)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1386078208)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000007" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000007_0" START_TIME="1349245813061" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000007" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000007_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815217" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part7:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639725568)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1426575360)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000007" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815220" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639725568)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1426575360)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000001" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000001_0" START_TIME="1349245813516" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000001" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000001_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815853" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part1:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52259)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639279104)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430925312)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000001" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815857" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52259)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639279104)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430925312)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000003" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000003_0" START_TIME="1349245813518" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000003" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000003_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816049" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part3:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(638373888)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1452851200)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000003" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816053" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(638373888)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1452851200)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000000_0" START_TIME="1349245813515" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000000_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816059" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part0:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667324416)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1470246912)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000000" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816063" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667324416)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1470246912)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000004" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000004_0" START_TIME="1349245813520" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000004" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000004_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816253" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part4:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(664510464)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(310)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1457082368)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000004" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816257" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(664510464)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(310)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1457082368)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000005" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000005_0" START_TIME="1349245813523" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000005" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000005_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816372" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part5:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(640319488)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(270)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1453215744)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000005" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816375" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(640319488)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(270)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1453215744)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
ReduceAttempt TASK_TYPE="REDUCE" TASKID="task_201210031529_0001_r_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_r_000000_0" START_TIME="1349245811636" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
ReduceAttempt TASK_TYPE="REDUCE" TASKID="task_201210031529_0001_r_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_r_000000_0" TASK_STATUS="SUCCESS" SHUFFLE_FINISHED="1349245819126" SORT_FINISHED="1349245819133" FINISH_TIME="1349245821267" HOSTNAME="/default-rack/hdslv02" STATE_STRING="reduce > reduce" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" .
Task TASKID="task_201210031529_0001_r_000000" TASK_TYPE="REDUCE" TASK_STATUS="SUCCESS" FINISH_TIME="1349245821270" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" .
Task TASKID="task_201210031529_0001_m_000010" TASK_TYPE="CLEANUP" START_TIME="1349245821276" SPLITS="" .
MapAttempt TASK_TYPE="CLEANUP" TASKID="task_201210031529_0001_m_000010" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000010_0" START_TIME="1349245821279" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="CLEANUP" TASKID="task_201210031529_0001_m_000010" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000010_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245822252" HOSTNAME="/default-rack/hdslv02" STATE_STRING="cleanup" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(125140992)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(300)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1514856448)]}" .
Task TASKID="task_201210031529_0001_m_000010" TASK_TYPE="CLEANUP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245822255" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(125140992)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(300)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1514856448)]}" .
Job JOBID="job_201210031529_0001" FINISH_TIME="1349245822256" JOB_STATUS="SUCCESS" FINISHED_MAPS="10" FINISHED_REDUCES="1" FAILED_MAPS="0" FAILED_REDUCES="0" MAP_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2360)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(522599)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(10)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(6499926016)][(SPILLED_RECORDS)(Spilled Records)(20)][(MAP_OUTPUT_BYTES)(Map output bytes)(180)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(10290462720)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(3350)][(MAP_INPUT_BYTES)(Map input bytes)(240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(14408658944)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1180)][(MAP_OUTPUT_RECORDS)(Map output records)(20)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)]}" REDUCE_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" COUNTERS="{(org\.apache\.hadoop\.mapred\.JobInProgress$Counter)(Job Counters )[(SLOTS_MILLIS_MAPS)(SLOTS_MILLIS_MAPS)(24269)][(TOTAL_LAUNCHED_REDUCES)(Launched reduce tasks)(1)][(FALLOW_SLOTS_MILLIS_REDUCES)(Total time spent by all reduces waiting after reserving slots \\(ms\\))(0)][(RACK_LOCAL_MAPS)(Rack-local map tasks)(9)][(FALLOW_SLOTS_MILLIS_MAPS)(Total time spent by all maps waiting after reserving slots \\(ms\\))(0)][(TOTAL_LAUNCHED_MAPS)(Launched map tasks)(10)][(DATA_LOCAL_MAPS)(Data-local map tasks)(1)][(SLOTS_MILLIS_REDUCES)(SLOTS_MILLIS_REDUCES)(9631)]}{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2360)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(574721)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(MAP_INPUT_RECORDS)(Map input records)(10)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(SPILLED_RECORDS)(Spilled Records)(20)][(MAP_OUTPUT_BYTES)(Map output bytes)(180)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(4520)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(11319508992)][(MAP_INPUT_BYTES)(Map input bytes)(240)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1180)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)][(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(6699163648)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(17021005824)][(MAP_OUTPUT_RECORDS)(Map output records)(20)]}" .

わっさーっと。パースは空気を読みつつ気合いですね。

このログは、hadoop job -history で食わせて情報を出したりとか(気合い系)、http://hadoop.apache.org/docs/mapreduce/current/vaidya.html この辺のcontribで分析できたりとか(新しめのバージョンだとJTのWebUIと統合されてる)、というようなものなので、まあ知っていると便利かもです。

内容を見ると、行頭にログの種類っぽいものがあって、Meta、Job、Task、MapAttempt、ReduceAttemptとあります。だいたいジョブの実行のところでみるような内容なので、書いてあるところは想像すればわかるかなと思います。それぞれ、新しい状態になるとログが一行増える的なないようっぽいです。持っている情報がわかりやすいように整形すると、それぞれ下記の様な感じになります。

Meta VERSION="1" .

Job
JOBID="job_201210031529_0007"
JOBNAME="DirectIOCompositeDistributedExperimentExecutionBatch\.DirectIOExperimentExecutionMainJobFlow\.stage0001"
USER="marblejenka"
SUBMIT_TIME="1349325836881"
JOBCONF="hdfs://mapr01:8020/tmp/hadoop-mapred/mapred/staging/marblejenka/\.staging/job_201210031529_0007/job\.xml"
VIEW_JOB="*"
MODIFY_JOB="*"
JOB_QUEUE="default" .

Job
JOBID="job_201210031529_0007"
JOB_PRIORITY="NORMAL" .

Job
JOBID="job_201210031529_0007"
LAUNCH_TIME="1349325837195"
TOTAL_MAPS="144"
TOTAL_REDUCES="42"
JOB_STATUS="PREP" .

Job
JOBID="job_201210031529_0007"
JOB_STATUS="RUNNING" .

Job
JOBID="job_201210031529_0007"
FINISH_TIME="1349328457835"
JOB_STATUS="SUCCESS"
FINISHED_MAPS="144"
FINISHED_REDUCES="42"
FAILED_MAPS="0"
FAILED_REDUCES="0"
MAP_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(8907724532)][(HDFS_BYTES_READ)(HDFS_BYTES_READ)(246435226164)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(16865832635)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(39801890)][(MAP_INPUT_RECORDS)(Map input records)(30000000)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(143548780544)][(SPILLED_RECORDS)(Spilled Records)(39801890)][(MAP_OUTPUT_BYTES)(Map output bytes)(165299860437)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(154378829824)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(4796440)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(212579356672)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1395406)][(MAP_OUTPUT_RECORDS)(Map output records)(69899745)][(COMBINE_INPUT_RECORDS)(Combine input records)(89799490)]}"
REDUCE_COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(9899745)][(result40)(result40)(10)][(result20)(result20)(10)][(result0)(result0)(10)][(result30)(result30)(10)][(result10)(result10)(10)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(7075962610)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(7079015055)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(8263652418)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(10000050)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(16625806)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(8427558064)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(80554999808)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(9899795)][(SPILLED_RECORDS)(Spilled Records)(16625806)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(78389313536)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(784840)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(109396811776)][(COMBINE_INPUT_RECORDS)(Combine input records)(16627481)][(REDUCE_INPUT_RECORDS)(Reduce input records)(19900470)]}"
COUNTERS="{(org\.apache\.hadoop\.mapred\.JobInProgress$Counter)(Job Counters )[(SLOTS_MILLIS_MAPS)(SLOTS_MILLIS_MAPS)(24286252)][(TOTAL_LAUNCHED_REDUCES)(Launched reduce tasks)(42)][(FALLOW_SLOTS_MILLIS_REDUCES)(Total time spent by all reduces waiting after reserving slots \\(ms\\))(0)][(RACK_LOCAL_MAPS)(Rack-local map tasks)(95)][(FALLOW_SLOTS_MILLIS_MAPS)(Total time spent by all maps waiting after reserving slots \\(ms\\))(0)][(TOTAL_LAUNCHED_MAPS)(Launched map tasks)(144)][(DATA_LOCAL_MAPS)(Data-local map tasks)(49)][(SLOTS_MILLIS_REDUCES)(SLOTS_MILLIS_REDUCES)(29201550)]}{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(9899745)][(result40)(result40)(10)][(result20)(result20)(10)][(result0)(result0)(10)][(result30)(result30)(10)][(result10)(result10)(10)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(15983687142)][(HDFS_BYTES_READ)(HDFS_BYTES_READ)(246435226164)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(23944847690)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(8263652418)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(MAP_INPUT_RECORDS)(Map input records)(30000000)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(8427558064)][(SPILLED_RECORDS)(Spilled Records)(56427696)][(MAP_OUTPUT_BYTES)(Map output bytes)(165299860437)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(5581280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(232768143360)][(COMBINE_INPUT_RECORDS)(Combine input records)(106426971)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1395406)][(REDUCE_INPUT_RECORDS)(Reduce input records)(19900470)][(REDUCE_INPUT_GROUPS)(Reduce input groups)(10000050)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(56427696)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(224103780352)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(9899795)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(321976168448)][(MAP_OUTPUT_RECORDS)(Map output records)(69899745)]}" .

Task
TASKID="task_201210031529_0007_m_000145"
TASK_TYPE="SETUP"
START_TIME="1349325837198"
SPLITS="" .

Task
TASKID="task_201210031529_0007_m_000145"
TASK_TYPE="SETUP"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325838368"
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(72803)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(114061312)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(130)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1436717056)]}" .

Task
TASKID="task_201210031529_0007_m_000001"
TASK_TYPE="MAP"
START_TIME="1349325840236"
SPLITS="/default-rack/hdslv01" .

Task TASKID="task_201210031529_0007_m_000010" TASK_TYPE="MAP" START_TIME="1349325840236" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000012" TASK_TYPE="MAP" START_TIME="1349325840237" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000013" TASK_TYPE="MAP" START_TIME="1349325840237" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000021" TASK_TYPE="MAP" START_TIME="1349325840238" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000007" TASK_TYPE="MAP" START_TIME="1349325840517" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000015" TASK_TYPE="MAP" START_TIME="1349325840518" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000016" TASK_TYPE="MAP" START_TIME="1349325840518" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000036" TASK_TYPE="MAP" START_TIME="1349325840519" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000039" TASK_TYPE="MAP" START_TIME="1349325840519" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000047" TASK_TYPE="MAP" START_TIME="1349325840520" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000022" TASK_TYPE="MAP" START_TIME="1349325842818" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_r_000000" TASK_TYPE="REDUCE" START_TIME="1349325846873" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000001" TASK_TYPE="REDUCE" START_TIME="1349325846926" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000002" TASK_TYPE="REDUCE" START_TIME="1349325846973" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000003" TASK_TYPE="REDUCE" START_TIME="1349325847277" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000004" TASK_TYPE="REDUCE" START_TIME="1349325847298" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000005" TASK_TYPE="REDUCE" START_TIME="1349325847310" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000006" TASK_TYPE="REDUCE" START_TIME="1349325847314" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000007" TASK_TYPE="REDUCE" START_TIME="1349325847678" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000008" TASK_TYPE="REDUCE" START_TIME="1349325847702" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000009" TASK_TYPE="REDUCE" START_TIME="1349325847800" SPLITS="" .

Task
TASKID="task_201210031529_0007_m_000007"
TASK_TYPE="MAP"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325955624"
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2030398046)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(75542)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(50)][(MAP_INPUT_RECORDS)(Map input records)(247192)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(968900608)][(SPILLED_RECORDS)(Spilled Records)(50)][(MAP_OUTPUT_BYTES)(Map output bytes)(28427080)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(37650)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1070858240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1434906624)][(COMBINE_INPUT_RECORDS)(Combine input records)(1235960)][(MAP_OUTPUT_RECORDS)(Map output records)(1235960)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(11276)]}" .

Task
TASKID="task_201210031529_0007_r_000007"
TASK_TYPE="REDUCE"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349327950186"
COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(235652)][(result40)(result40)(0)][(result0)(result0)(0)][(result20)(result20)(0)][(result30)(result30)(0)][(result10)(result10)(0)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(168429113)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(168501835)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(196706757)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(238095)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(396067)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(200631847)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(1191866368)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(235652)][(SPILLED_RECORDS)(Spilled Records)(396067)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(20700)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1565917184)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2646269952)][(COMBINE_INPUT_RECORDS)(Combine input records)(396067)][(REDUCE_INPUT_RECORDS)(Reduce input records)(473747)]}" .

MapAttempt
TASK_TYPE="MAP"
TASKID="task_201210031529_0007_m_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_m_000007_0"
START_TIME="1349325840522"
TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247"
HTTP_PORT="50060" .

MapAttempt
TASK_TYPE="MAP"
TASKID="task_201210031529_0007_m_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_m_000007_0"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325955622"
HOSTNAME="/default-rack/hdslv02"
STATE_STRING=""
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2030398046)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(75542)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(50)][(MAP_INPUT_RECORDS)(Map input records)(247192)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(968900608)][(SPILLED_RECORDS)(Spilled Records)(50)][(MAP_OUTPUT_BYTES)(Map output bytes)(28427080)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(37650)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1070858240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1434906624)][(COMBINE_INPUT_RECORDS)(Combine input records)(1235960)][(MAP_OUTPUT_RECORDS)(Map output records)(1235960)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(11276)]}" .

ReduceAttempt
TASK_TYPE="REDUCE"
TASKID="task_201210031529_0007_r_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_r_000007_0"
START_TIME="1349325848847"
TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247"
HTTP_PORT="50060" .

ReduceAttempt
TASK_TYPE="REDUCE"
TASKID="task_201210031529_0007_r_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_r_000007_0"
TASK_STATUS="SUCCESS"
SHUFFLE_FINISHED="1349327889352"
SORT_FINISHED="1349327889361"
FINISH_TIME="1349327950181"
HOSTNAME="/default-rack/hdslv02"
STATE_STRING="reduce > reduce"
COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(235652)][(result40)(result40)(0)][(result0)(result0)(0)][(result20)(result20)(0)][(result30)(result30)(0)][(result10)(result10)(0)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(168429113)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(168501835)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(196706757)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(238095)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(396067)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(200631847)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(1191866368)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(235652)][(SPILLED_RECORDS)(Spilled Records)(396067)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(20700)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1565917184)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2646269952)][(COMBINE_INPUT_RECORDS)(Combine input records)(396067)][(REDUCE_INPUT_RECORDS)(Reduce input records)(473747)]}" .

Attemptとかは、FAILで終わるとエラーログを持っていたりもしますが、上に出しているのは正常系のものだけです。


という感じで、とりあえず欲しいものは見つかりました。