読者です 読者をやめる 読者になる 読者になる

はらいたいら

あんまり痛くはないのですが、ここ一週間ほど血便が酷かったので、人生初の肛門科に行ってきました。というのも、なんやかんや調べたら自分の症状が大腸癌がそこそこ進行した時の症状と完全に一致しており、ちょっと本気で死ぬかもしれないというのがあったので。あと、大学のときに、僕はあまり野菜を食べないのですが、それを理由に、お前は大腸癌で三年以内に死ぬ、と宣告されたことがあったからです。よゆうでさんねんいじょういきてますが。

というので、人生二回目くらいの本格的な生命の危機を感じ、さすがに病院に行くことにしました。結局、癌ではなく痔だったようなので大事には至らないですが、最近妙に身体の調子が悪いなと思ったらそういうあれももっていたようです。肛門科というと完全に芸人のネタのためにあるようなイメージしかなく、自分もずいぶんと年をとったものだなと思います。じじゃなくてぢですね。年ととったというかなんというか、自分の人生でこういった病気をすることになるというのが残念でなりません。大人の階段をまた一つ。

ちなみに、ぢは年齢生活習慣関係なく発症するものらしく、日本人だとだいたい二人に一人がぢもちらしいです。ただ、同時にポリープも二つほどあったようで、こちらは完全に生活習慣です。ポリープは癌化するおそれがあるので、まあ当然ですが、ない方がよいものです。

昨年は救急沙汰を二回経験して煙草をやめましたが、今年、というかほぼ実質的に来年以降は飲酒も控えようと思います。個人的に、死ぬことそのものは実はそれほど怖くはないのですが、病気というか、身体の内部を蝕まれることによる死のイメージには耐えられないです。精神もやられるし。事故はいいけど病気はだめというのもナンセンスな気はしますが。

あと、それとは関係なく、過敏性腸症候群(IBS)的な症状が小学校の頃からあったのですが、実は効果のある薬が存在するらしいです。一般に知られているかはわからないのであれですが、同様の症状で困っている人は肛門科に行けばよいと思います。

年の瀬にだいぶあれですが、大腸じいさんとガンだとおもえばしょうがないかもしれません。

drip

https://github.com/flatland/drip

JVMのプロセスをプールすることによって見かけ上のVM起動をはやくしてくれるもの。起動したJVMclasspathとVM引数毎にハッシュであれして個別に管理する。似たようなものよりはいけてるらしいけど、似たようなものをよく知らないのでそれと比較してどこがよいのかは(READMEに書いてあるけど)よくわからない。とりあえずdirtyになりづらいらしい。


対応している(というかインストラクションがある)のは、Clojure/Scala/JRuby/Mavenで、 https://github.com/flatland/drip/wiki このへんのドキュメントを参照すればどうにかできる。dripそのもののインストールは、homebrew/macを使用しているなら brew install drip でよい。

導入について、drop-in replacementな仕組みで、ようするにJAVACMDという環境変数の設定値を(使用しているプロダクトについては)javaからdirpに差し替えるとこの見かけ上の起動の高速化の恩恵が受けられる。ただ、結局JVMのプロセスをプールしているだけなので、たとえばscalaのreplを起動するときには起動後の処理もあると思われるので、超速くなるというほど超速くなるというわけではない。でも大体半分くらいにはなるので、VMの起動がストレスに感じられる人にはよいと思う。個人的には体感でわかる位の差にはなるので、興味のある人は試して見るとよいと思う。

実測値は以下のような感じ。半分というほどでもないけど、900ms→650msくらい。初回はプールがないので、1000msくらいはかかる。

marbleair:sources marblejenka$ export JAVACMD=java
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.917s
user 0m0.751s
sys 0m0.079s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.908s
user 0m0.759s
sys 0m0.078s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.882s
user 0m0.725s
sys 0m0.079s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.987s
user 0m0.813s
sys 0m0.095s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.909s
user 0m0.735s
sys 0m0.079s
marbleair:sources marblejenka$ export JAVACMD=drip
marbleair:sources marblejenka$ drip kill
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m1.099s
user 0m0.910s
sys 0m0.118s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.633s
user 0m0.065s
sys 0m0.081s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.649s
user 0m0.066s
sys 0m0.083s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.632s
user 0m0.072s
sys 0m0.096s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.711s
user 0m0.074s
sys 0m0.095s
marbleair:sources marblejenka$ time scala -e 'Console println 10 * 10'
100

real 0m0.623s
user 0m0.067s
sys 0m0.081s

HadoopコマンドもいちいちJVMをあれするのでうまく組み合わせられないか検討しましたが、いまいちうまくいかない感じでした。

453c453,454< _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s $JAVA --"

    • -

> # _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s $JAVA --"
> _JAVA_EXEC="su $_HADOOP_DAEMON_USER -s /usr/local/bin/drip --"
455c456,457< _JAVA_EXEC="$JAVA"

    • -

> # _JAVA_EXEC="$JAVA"
> _JAVA_EXEC="/usr/local/bin/drip"

こんなんでbin/hadoopをかえればいいんじゃないかとおもったけどあかんかった。

Hadoop in Practiceを読んだよ

そういやあるなあとは思いつつ、特にモチベーションもなかったので読んでなかったけど、 http://blog.cloudera.com/blog/2012/11/the-new-hadoop-in-practice-book-a-chat-with-the-author/ でその存在を思い出したので、読んでみました。全体的にわかりやすいし勉強になりました。ベリサインの(たぶんかなりの)Hadoopヘビーユーザーが書いたと言うこともあるのだろうけど解説に違和感もないし、著者のブログ http://grepalex.com であるような絵にコメントを入れるスタイルもなかなかいい感じです。

解説の中には基本的な事柄をHadoop in Actionを参照するようにとしているところもそれなりにあるため、Hadoop初心者というよりは一定以上の経験がある人向けと思います。例外的に、Capter1は20ページ程度で細かすぎず概観過ぎずなHadoopのイントロダクションがあり、ここについては初心者向けです。象本はいきなり無駄に細部に入るようなところがあるので、そういうのが苦手な人もいいかもしれないです。

章立てはおおむねHadoop Hacksと同様の問題解決形式ですが、やや恣意的に問いを立てている箇所もありますが、Hadoopのエコシステムだとほぼ似たような問題解決をするようなツールが複数あることがあり、その辺のツール側の比較をやっているのがよさげポイントです。個別の論点では、経験があるところについては経験の方が強いくらいの詳しさにだいたいなると思いますが、解説している分野が広いのでためになります。Hadoop HacksにあってHadoop in Practiceにないのは、HBaseとZookeeperくらいですかね。

読み始めたときは、ClouderaのブログでみたのでClouderaの人が書いたものだと思っていて、やや網羅感に欠けた記述があったのであれだなあとか思いましたが、正直この内容の本を一人で書ける技術レベルと根性は尊敬に値すると思います。

あとは備忘録をまとめておきます。

Part 1 Background and Fundamentals
・HDFSとJobTrackerの仕組みを簡潔にまとめつつ、インストールと疑似分散モードでの実行まで20ページでまとめていて、非エンジニアでもこのくらいの内容は理解していて欲しい位のちょうど良さです
・Figure 1.4の"Job Parts"が明らかに"Task"なので語用が誤用であるように見えますが、まあそのくらいです

Part 2 Data Logistics
・第二部ですがまず名前がかっこいいです。転送とフォーマットの話なので適切かと
・Flume/Chukwa/Scribeの比較があり、そういえばChkwaとか存在したよなあというのが思い出せます
・slurper https://github.com/alexholmes/hdfs-file-slurper というかなりナイーブだけどライトなデータ転送ツールの紹介とか
・フォーマットとリーダーのあたりはソースも交えつついい感じに解説されています。この辺の話題を確認するのに象本とかよりこっちのほうがいいのではないでしょうか。そこそこわかってたらHadoopのソースをみたほうが速いという話もありますが
・ネストの深いJSONのテキストを入力としてどうあつかうかという話題は、この手の話で悩むようなことをしていないので、参考になりました
・Sequence File/Protocol Buffer/Thrift/Avroの比較とか。Trevniの話題もあったと思いますが読み返したら書いてなかったです。余談ですがTrevniは今はAvroにマージされたっぽいです https://github.com/cutting/trevni
・あとはImput Formatを自分で書くとか

Part 3 Big Data Patterns
・名前がだめそうですが、第二部の補になってる感じで、データを動かした後の話です。一部そういうくくりじゃないところもありますが
・結合戦略では、Repertition Join(Merge Join)/Replicated Join(Hash Join)/Semi Joinの解説があります。Semi Joinはあんまり解説してくれているところがなかったのですが、Hadoop MapReduceでの実装方法と、別の章でBloom Filterを使用した効率化(効率化される場合における効率化、、というかこのへんの機微ははどう書いたものやら)をやっていてくれていい感じです。skewの考慮は別立てであとで出てきます
・ソートは象本と比較して目立った話題はないです
・サンプリングを章で切ってますが、これも目立った話題はないです。たぶんreduce inputのskew考慮の話題と絡めてこの辺を整理しようとして、記述バランスが悪いけどタイムアウトした感じのあれだったと思います
・小さいファイルがたくさんある場合の問題をどう解消するかという話題。主に解説されているのはAvroでまとめる方法だけど、CombineFileInputFormat/mapred.job.reuse.jvm.num.tasks/tar/har/Federationにもちょっとだけ触れている
・圧縮のコーデックの話。これも目立った話題はなく、splitしたいならLZOPだけどインデックスめんどいならbzip2で、splitいらないならsnappyで、という
・あとは性能周りのはなしで、ヒストリログをつかった性能分析という観点で何かと詳しい。あと自分がもってるツールとかぶるところもあったけどまあそれはそれ
・こういう問題があったらJobTrackerのWebUIのこのへんをみてね、という整理なので、このへんを真面目に見たことない人にも良さそう
Hadoopのチューニングパラメーターの話題は貧弱だけど、最低限で余計なことをしない、という振り方ならこのぐらいがいいのかも、という感も。Clouderaのマテリアルとかぶるというあれもあると思いますが。そういえばdfs.datanode.drop.cache.behind.writesとかのとかはどうなんですかね
・観点としてOSのメトリクスをちゃんと見ようというのがあって、ちゃんとOSのメトリクスは見ましょうね、というのが確認できてよい
・Techinique 46 Avoid the Reducer、というのが何ともいえない雰囲気を醸し出すけど、これも基本なんだよね。何ともいえない雰囲気だけど
・skewの話題は分析がめんどいので悩ましいけど、悩ましいですね
・あとはオブジェクトのメモリ消費量の話題で、このへん本来的にはセンシティブだという話。データが巨大だとこの程度の内容でも性能にはねるので

Part 4 Data Science
・Data Scienceってかっこいいですね
・グラフの話。別にデータ量がよほどでかくなければHadoopじゃなくていいというのはあると思いますが、みんな好きですよね。あんまり詳しくないけど、FoFの分析とかをケーススタディとして見ると、そんなに詳しくない人にとっては面白いと思います。僕とか
・Bloom Fileterをつくる話と、Bloom FilterでSemi Joinを効率化するというのが227p以降で書いてある
・Rとの統合の話。この辺も詳しくないのでわかめ。ていうかRでMapReduce書けてなにがうれしいのか理解できない
・Mahoutも詳しくないので真面目に読んでない。Mahout in Actionが邦訳されているので、そっちみたほうがいいんじゃないかとは思う
・個人的には、この辺の話題はここで整理されているところまでは追試してキャッチアップしておきたい

Part 5 Taming the Elephant
・Hive/Pig/Crunch/Cascadingとテスト周りの話
・Hiveのパーティションとバケツは僕的にクリアになっていなかったので、そのへんの概念的なものがサンプリングとか実用的な観点で説明されているのはよかった
・Hiveの結合戦略にはなぜかBucket Joinの解説がのってない。別にいいけど
・このぶたやろう!このへんも概念的なところの整理がちゃんとしてていい感じ。気づいたけど象本って文法解説的な感じなんだよね。あんまクリアじゃない。触る前に読んでたからかもしれないけど
Crunch/Cascadingは位置づけとしてイマイチ腑に落ちないところはありましたが、MapReduceの抽象化に寄せているのがCrunchで、データフローの抽象化に寄せてるのがCascadingという整理でよいと思った。どっちかというとScrunth/Scaldingに興味はあるけど、このへんも触ってない

appendix
Hadoop built-in ingress and egress toolsはそんなに有益ではないと思うけど、どういう手段があるかについて網羅的な気がするので、そういう時に見ると思う。あと、ちらっとHoop/WehHDFSがのってる
・Optimized MapReduce join frameworksのは、Part3でも触れられているcontribのやつで、むかししょぼかったけど改善されている気もするので、気が向いたら

という感じでした。象本も新しいのが日本語ででたら読んでもいいなあと常々思ってますが、まあそういう感じです。Part4のあたりは気を向けて追試したいと思います。

impalaあきらめそう

紆余曲折あったのでとりあえず心の平穏を取り戻すために整理します。

・手元の環境がubuntuで、これにimpalaを入れようとしてみた
・cloudera manager free editionで入る雰囲気(インストール可能なプロセスとして表示される)でインストールも成功したかのように表示されるけど、プロセスの起動には失敗するという現象が起こる
・なんやかんやでcentosの6.2でないとだめな事に気づく
・別にcentos5.7のhadoopクラスタがあって、いろいろ相談した結果、二つのクラスタをまとめて新しい一つのクラスタにしようということになる
・HDD入れ替えしたりとか配線をあれしたりとかいろいろ物理的な作業をしたりとかしてつかれる
・マシンのふたを閉めるときに腕の皮を挟んで非常に痛い思いをする
centos 6.2をインストールしたらなぜかnicのデバイスドライバがなくて困る
デバイスドライバをダウンロードして入れようとしたらmakefileが腐ってるっぽくてインストールができない
・あきらめてec2のcentosにcloudera managerでimpalaを入れようとしたら以下の様なエラーになる

  1. IMPALA_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf
  2. export HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  3. HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  4. export HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  5. HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  6. export HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  7. HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  8. FLAG_FILE=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  9. perl -pi -e 's#{{CMF_CONF_DIR}}#/var/run/cloudera-scm-agent/process/50-impala-IMPALAD#g' /var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  10. '[' impalad = impalad ']'
  11. exec impalad --flagfile=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags

E1109 04:25:51.845830 2008 timestamp-functions.cc:420] Could not create temporary timezone file: /tmp/impala.tzdb.X5y4lxh
E1109 04:25:51.931691 2008 impala-server.cc:650] java.lang.RuntimeException: Failed to initialize default Hive configuration variables!
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:714)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:885)
at org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:846)
at com.cloudera.impala.catalog.Catalog.(Catalog.java:55)
at com.cloudera.impala.service.Frontend.(Frontend.java:73)
at com.cloudera.impala.service.JniFrontend.(JniFrontend.java:46)
Caused by: java.io.IOException: Permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.checkAndCreate(File.java:1704)
at java.io.File.createTempFile(File.java:1792)
at java.io.File.createTempFile(File.java:1828)
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:703)
... 5 more

いろいろ余計なことをしたり余計なところでトラブってるのもあってあれですが、初めてhadoopで完全分散環境をつくろうとしたときもこれほどストレスを感じてはいなかったと思い起こされるところではあります。

Hadoopのヒストリログとか

JobTrackerのWebUIを見るとTaskAttemptの情報なんかが出てきますが、Asakusa Frameworkなんかをつかっていると、複数のMapReduce Jobのsubmissionになるので、1アプリケーションでのjob submission横断的に見たいなあということで、自前で実行結果の情報をとる方法がないかHadoopAPIとかログとかを調べました。

欲しい情報は、カウンタとかもあるのですが、WebUIだと、TaskAttemptがどのノードでどのくらいの時間動いたかまでわかるので、その辺まではとりたいです。

結局採用したのは、TaskAttemptレベルの情報を持っていて一番扱いが楽そうなのはHistory Logで、他はいろいろ欲しい情報が足りなかったりで使えなさそうだったのですが、せっかく調べたのでいろいろ書き残しておこうと思います。調べた路線は下記の様な感じです。

・JobSubmissionProtocolの実装を使う系
・WebUIのhtmlを気合いでパースする系
Hadoopのログを気合いでパースする系

以下詳細です。
・JobSubmissionProtocolの実装を使う系
JobSubmissionProtocolはインターフェイスで、名前と違ってジョブの実行情報がとれる口があったりします。インスタンスをとるのはorg.apache.hadoop.mapred.JobClientあたりを見ておけばいいとして(それも結構めんどくさそうでしたが)、情報がとれそうな候補は、

  /**
   * Grab a handle to a job that is already known to the JobTracker.
   * @return Profile of the job, or null if not found. 
   */
  public JobProfile getJobProfile(JobID jobid) throws IOException;

  /**
   * Grab a handle to a job that is already known to the JobTracker.
   * @return Status of the job, or null if not found.
   */
  public JobStatus getJobStatus(JobID jobid) throws IOException;

  /**
   * Grab the current job counters
   */
  public Counters getJobCounters(JobID jobid) throws IOException;
    
  /**
   * Grab a bunch of info on the map tasks that make up the job
   */
  public TaskReport[] getMapTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the reduce tasks that make up the job
   */
  public TaskReport[] getReduceTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the cleanup tasks that make up the job
   */
  public TaskReport[] getCleanupTaskReports(JobID jobid) throws IOException;

  /**
   * Grab a bunch of info on the setup tasks that make up the job
   */
  public TaskReport[] getSetupTaskReports(JobID jobid) throws IOException;

このへんかなと。もらえる情報はそれぞれ、

public class JobProfile implements Writable {
~
  String user;
  final JobID jobid;
  String jobFile;
  String url;
  String name;
  String queueName;

JobStatus

public class JobStatus implements Writable, Cloneable {
~
  private JobID jobid;
  private float mapProgress;
  private float reduceProgress;
  private float cleanupProgress;
  private float setupProgress;
  private int runState;
  private long startTime;
  private String user;
  private JobPriority priority;
  private String schedulingInfo="NA";
  private String failureInfo = "NA";

Counters

~
  // Map from group name (enum class name) to map of int (enum ordinal) to
  // counter record (name-value pair).
  private Map<String,Group> counters = new HashMap<String, Group>();

  /**
   * A cache from enum values to the associated counter. Dramatically speeds up
   * typical usage.
   */
  private Map<Enum, Counter> cache = new IdentityHashMap<Enum, Counter>();

TaskReport

public class TaskReport implements Writable {
  private TaskID taskid;
  private float progress;
  private String state;
  private String[] diagnostics;
  private long startTime; 
  private long finishTime; 
  private Counters counters;
  private TIPStatus currentStatus;

という感じです。JobProfileはJob単位なので情報少なすぎ、JobStatusも同様、Countersは欲しいけどそれだけだとあれだなあという感じで、TaskReportはすごい期待したのですがこれもTask単位で、どのノードで動いたかわからないのが微妙、という感じでした。


・WebUIのhtmlを気合いでパースする系
いやでもWebUIにでてるんだからどこかに情報はあるはず、ということでWebUIのコードを見ました。詳細がでているURLをみると、taskdetailshistory.jspなどの文字があるので、その辺を調べました。

~
  String logFile = request.getParameter("logFile");
  String tipid = request.getParameter("tipid");
  if (logFile == null || tipid == null) {
    out.println("Missing job!!");
    return;
  }
  String encodedLogFileName = JobHistory.JobInfo.encodeJobHistoryFilePath(logFile);

なんかファイルのパスを渡しています。なんやねん。JobClientみても意味ないじゃん。いろいろ辿るとjobtracker.jspからパラメーターで引き回していることがわかり、結局のところログを直接見れば欲しい情報があるということがわかりました。


Hadoopのログを気合いでパースする系
ということで、ログを調べます。上のコードに"JobHistory.JobInfo.encodeJobHistoryFilePath"とあり、この辺なんかをみると、

http://www.cloudera.com/blog/2009/09/apache-hadoop-log-files-where-to-find-them-in-cdh-and-what-info-they-contain/
http://www.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/

欲しいログはヒストリログと呼ばれているものだということがわかりました。

Job Statistics
These logs are created by the jobtracker. The jobtracker runtime statistics from jobs to these files. Those statistics include task attempts, time spent shuffling, input splits given to task attempts, start times of tasks attempts and other information.
The statistics files are named:
___

2) In the Job History
Key: hadoop.job.history.location
Key (H21): mapreduce.jobtracker.jobhistory.location
Default: file:///${hadoop.log.dir}/history
Retention: up to a max. of 30 days (see General Job File Notes below)
Note: The value for this key is treated as a URI, in other words you can store the job files in HDFS or on the local file system (which is the default).
3) Per Job
Key: hadoop.job.history.user.location
Key (H21): mapreduce.job.userhistorylocation
Default: /_logs/history (can be "none" to disable)
Retention: forever
You can print the info contained in those files using the hadoop command line script like so:
hadoop job -history
This implies that the above command expects the path to be on HDFS. In other words you cannot use it to display the other job files stored on the local disk for example.

この辺を参考にしました。場所はローカルファイルシステムまたはHDFSに配置させされるし、名前のJobIDが入っているので、その辺はうまいことやれば情報がとれると。中身はわさわさしてます。

Meta VERSION="1" .
Job JOBID="job_201210031529_0001" JOBNAME="PiEstimator" USER="root" SUBMIT_TIME="1349245808278" JOBCONF="hdfs://mapr01:8020/tmp/hadoop-mapred/mapred/staging/root/\.staging/job_201210031529_0001/job\.xml" VIEW_JOB="*" MODIFY_JOB="*" JOB_QUEUE="default" .
Job JOBID="job_201210031529_0001" JOB_PRIORITY="NORMAL" .
Job JOBID="job_201210031529_0001" LAUNCH_TIME="1349245808751" TOTAL_MAPS="10" TOTAL_REDUCES="1" JOB_STATUS="PREP" .
Task TASKID="task_201210031529_0001_m_000011" TASK_TYPE="SETUP" START_TIME="1349245808752" SPLITS="" .
MapAttempt TASK_TYPE="SETUP" TASKID="task_201210031529_0001_m_000011" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000011_0" START_TIME="1349245809202" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="SETUP" TASKID="task_201210031529_0001_m_000011" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000011_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245810021" HOSTNAME="/default-rack/hdslv01" STATE_STRING="setup" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(123105280)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(200)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1448828928)]}" .
Task TASKID="task_201210031529_0001_m_000011" TASK_TYPE="SETUP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245810028" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(123105280)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(200)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1448828928)]}" .
Job JOBID="job_201210031529_0001" JOB_STATUS="RUNNING" .
Task TASKID="task_201210031529_0001_r_000000" TASK_TYPE="REDUCE" START_TIME="1349245811187" SPLITS="" .
Task TASKID="task_201210031529_0001_m_000002" TASK_TYPE="MAP" START_TIME="1349245811251" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0001_m_000000" TASK_TYPE="MAP" START_TIME="1349245812139" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000001" TASK_TYPE="MAP" START_TIME="1349245813030" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000003" TASK_TYPE="MAP" START_TIME="1349245813031" SPLITS="/default-rack/hdslv06" .
Task TASKID="task_201210031529_0001_m_000004" TASK_TYPE="MAP" START_TIME="1349245813032" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000005" TASK_TYPE="MAP" START_TIME="1349245813048" SPLITS="/default-rack/hdslv03" .
Task TASKID="task_201210031529_0001_m_000006" TASK_TYPE="MAP" START_TIME="1349245813050" SPLITS="/default-rack/hdslv08" .
Task TASKID="task_201210031529_0001_m_000007" TASK_TYPE="MAP" START_TIME="1349245813050" SPLITS="/default-rack/hdslv05" .
Task TASKID="task_201210031529_0001_m_000008" TASK_TYPE="MAP" START_TIME="1349245813051" SPLITS="/default-rack/hdslv04" .
Task TASKID="task_201210031529_0001_m_000009" TASK_TYPE="MAP" START_TIME="1349245813052" SPLITS="/default-rack/hdslv08" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000002" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000002_0" START_TIME="1349245811254" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000002" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000002_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245812923" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part2:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667701248)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(500)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1469227008)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000002" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245813062" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667701248)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(500)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1469227008)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000008" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000008_0" START_TIME="1349245813062" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000008" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000008_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814917" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part8:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639553536)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430839296)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000008" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814920" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639553536)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430839296)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000009" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000009_0" START_TIME="1349245813063" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000009" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000009_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814931" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part9:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(663744512)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(550)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1431617536)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000009" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814935" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(663744512)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(550)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1431617536)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000006" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000006_0" START_TIME="1349245813059" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000006" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000006_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814994" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part6:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639393792)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1386078208)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000006" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245814998" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639393792)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1386078208)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000007" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000007_0" START_TIME="1349245813061" TRACKER_NAME="tracker_hdslv01:localhost\.localdomain/127\.0\.0\.1:54068" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000007" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000007_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815217" HOSTNAME="/default-rack/hdslv01" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part7:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639725568)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1426575360)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000007" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815220" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639725568)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1426575360)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000001" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000001_0" START_TIME="1349245813516" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000001" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000001_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815853" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part1:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52259)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639279104)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430925312)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000001" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245815857" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52259)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(639279104)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(290)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1430925312)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000003" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000003_0" START_TIME="1349245813518" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000003" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000003_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816049" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part3:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(638373888)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1452851200)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000003" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816053" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(638373888)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1452851200)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000000_0" START_TIME="1349245813515" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000000_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816059" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part0:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667324416)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1470246912)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000000" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816063" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(667324416)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1470246912)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000004" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000004_0" START_TIME="1349245813520" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000004" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000004_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816253" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part4:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(664510464)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(310)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1457082368)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000004" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816257" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(664510464)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(310)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1457082368)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000005" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000005_0" START_TIME="1349245813523" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="MAP" TASKID="task_201210031529_0001_m_000005" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000005_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816372" HOSTNAME="/default-rack/hdslv02" STATE_STRING="hdfs://mapr01:8020/user/root/PiEstimator_TMP_3_141592654/in/part5:0+118" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(640319488)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(270)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1453215744)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
Task TASKID="task_201210031529_0001_m_000005" TASK_TYPE="MAP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245816375" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(236)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52260)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(1)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(640319488)][(SPILLED_RECORDS)(Spilled Records)(2)][(MAP_OUTPUT_BYTES)(Map output bytes)(18)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(270)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1453215744)][(MAP_INPUT_BYTES)(Map input bytes)(24)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(MAP_OUTPUT_RECORDS)(Map output records)(2)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(118)]}" .
ReduceAttempt TASK_TYPE="REDUCE" TASKID="task_201210031529_0001_r_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_r_000000_0" START_TIME="1349245811636" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
ReduceAttempt TASK_TYPE="REDUCE" TASKID="task_201210031529_0001_r_000000" TASK_ATTEMPT_ID="attempt_201210031529_0001_r_000000_0" TASK_STATUS="SUCCESS" SHUFFLE_FINISHED="1349245819126" SORT_FINISHED="1349245819133" FINISH_TIME="1349245821267" HOSTNAME="/default-rack/hdslv02" STATE_STRING="reduce > reduce" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" .
Task TASKID="task_201210031529_0001_r_000000" TASK_TYPE="REDUCE" TASK_STATUS="SUCCESS" FINISH_TIME="1349245821270" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" .
Task TASKID="task_201210031529_0001_m_000010" TASK_TYPE="CLEANUP" START_TIME="1349245821276" SPLITS="" .
MapAttempt TASK_TYPE="CLEANUP" TASKID="task_201210031529_0001_m_000010" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000010_0" START_TIME="1349245821279" TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247" HTTP_PORT="50060" .
MapAttempt TASK_TYPE="CLEANUP" TASKID="task_201210031529_0001_m_000010" TASK_ATTEMPT_ID="attempt_201210031529_0001_m_000010_0" TASK_STATUS="SUCCESS" FINISH_TIME="1349245822252" HOSTNAME="/default-rack/hdslv02" STATE_STRING="cleanup" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(125140992)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(300)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1514856448)]}" .
Task TASKID="task_201210031529_0001_m_000010" TASK_TYPE="CLEANUP" TASK_STATUS="SUCCESS" FINISH_TIME="1349245822255" COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52195)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(125140992)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(300)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1514856448)]}" .
Job JOBID="job_201210031529_0001" FINISH_TIME="1349245822256" JOB_STATUS="SUCCESS" FINISHED_MAPS="10" FINISHED_REDUCES="1" FAILED_MAPS="0" FAILED_REDUCES="0" MAP_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2360)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(522599)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(MAP_INPUT_RECORDS)(Map input records)(10)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(6499926016)][(SPILLED_RECORDS)(Spilled Records)(20)][(MAP_OUTPUT_BYTES)(Map output bytes)(180)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(10290462720)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(3350)][(MAP_INPUT_BYTES)(Map input bytes)(240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(14408658944)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1180)][(MAP_OUTPUT_RECORDS)(Map output records)(20)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)]}" REDUCE_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(52122)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(199237632)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(SPILLED_RECORDS)(Spilled Records)(0)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(1170)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2612346880)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)]}" COUNTERS="{(org\.apache\.hadoop\.mapred\.JobInProgress$Counter)(Job Counters )[(SLOTS_MILLIS_MAPS)(SLOTS_MILLIS_MAPS)(24269)][(TOTAL_LAUNCHED_REDUCES)(Launched reduce tasks)(1)][(FALLOW_SLOTS_MILLIS_REDUCES)(Total time spent by all reduces waiting after reserving slots \\(ms\\))(0)][(RACK_LOCAL_MAPS)(Rack-local map tasks)(9)][(FALLOW_SLOTS_MILLIS_MAPS)(Total time spent by all maps waiting after reserving slots \\(ms\\))(0)][(TOTAL_LAUNCHED_MAPS)(Launched map tasks)(10)][(DATA_LOCAL_MAPS)(Data-local map tasks)(1)][(SLOTS_MILLIS_REDUCES)(SLOTS_MILLIS_REDUCES)(9631)]}{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2360)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(574721)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(257)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(MAP_INPUT_RECORDS)(Map input records)(10)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(339)][(SPILLED_RECORDS)(Spilled Records)(20)][(MAP_OUTPUT_BYTES)(Map output bytes)(180)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(4520)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(11319508992)][(MAP_INPUT_BYTES)(Map input bytes)(240)][(COMBINE_INPUT_RECORDS)(Combine input records)(0)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1180)][(REDUCE_INPUT_RECORDS)(Reduce input records)(20)][(REDUCE_INPUT_GROUPS)(Reduce input groups)(2)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(0)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(6699163648)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(0)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(17021005824)][(MAP_OUTPUT_RECORDS)(Map output records)(20)]}" .

わっさーっと。パースは空気を読みつつ気合いですね。

このログは、hadoop job -history で食わせて情報を出したりとか(気合い系)、http://hadoop.apache.org/docs/mapreduce/current/vaidya.html この辺のcontribで分析できたりとか(新しめのバージョンだとJTのWebUIと統合されてる)、というようなものなので、まあ知っていると便利かもです。

内容を見ると、行頭にログの種類っぽいものがあって、Meta、Job、Task、MapAttempt、ReduceAttemptとあります。だいたいジョブの実行のところでみるような内容なので、書いてあるところは想像すればわかるかなと思います。それぞれ、新しい状態になるとログが一行増える的なないようっぽいです。持っている情報がわかりやすいように整形すると、それぞれ下記の様な感じになります。

Meta VERSION="1" .

Job
JOBID="job_201210031529_0007"
JOBNAME="DirectIOCompositeDistributedExperimentExecutionBatch\.DirectIOExperimentExecutionMainJobFlow\.stage0001"
USER="marblejenka"
SUBMIT_TIME="1349325836881"
JOBCONF="hdfs://mapr01:8020/tmp/hadoop-mapred/mapred/staging/marblejenka/\.staging/job_201210031529_0007/job\.xml"
VIEW_JOB="*"
MODIFY_JOB="*"
JOB_QUEUE="default" .

Job
JOBID="job_201210031529_0007"
JOB_PRIORITY="NORMAL" .

Job
JOBID="job_201210031529_0007"
LAUNCH_TIME="1349325837195"
TOTAL_MAPS="144"
TOTAL_REDUCES="42"
JOB_STATUS="PREP" .

Job
JOBID="job_201210031529_0007"
JOB_STATUS="RUNNING" .

Job
JOBID="job_201210031529_0007"
FINISH_TIME="1349328457835"
JOB_STATUS="SUCCESS"
FINISHED_MAPS="144"
FINISHED_REDUCES="42"
FAILED_MAPS="0"
FAILED_REDUCES="0"
MAP_COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(8907724532)][(HDFS_BYTES_READ)(HDFS_BYTES_READ)(246435226164)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(16865832635)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(39801890)][(MAP_INPUT_RECORDS)(Map input records)(30000000)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(143548780544)][(SPILLED_RECORDS)(Spilled Records)(39801890)][(MAP_OUTPUT_BYTES)(Map output bytes)(165299860437)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(154378829824)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(4796440)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(212579356672)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1395406)][(MAP_OUTPUT_RECORDS)(Map output records)(69899745)][(COMBINE_INPUT_RECORDS)(Combine input records)(89799490)]}"
REDUCE_COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(9899745)][(result40)(result40)(10)][(result20)(result20)(10)][(result0)(result0)(10)][(result30)(result30)(10)][(result10)(result10)(10)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(7075962610)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(7079015055)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(8263652418)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(10000050)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(16625806)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(8427558064)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(80554999808)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(9899795)][(SPILLED_RECORDS)(Spilled Records)(16625806)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(78389313536)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(784840)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(109396811776)][(COMBINE_INPUT_RECORDS)(Combine input records)(16627481)][(REDUCE_INPUT_RECORDS)(Reduce input records)(19900470)]}"
COUNTERS="{(org\.apache\.hadoop\.mapred\.JobInProgress$Counter)(Job Counters )[(SLOTS_MILLIS_MAPS)(SLOTS_MILLIS_MAPS)(24286252)][(TOTAL_LAUNCHED_REDUCES)(Launched reduce tasks)(42)][(FALLOW_SLOTS_MILLIS_REDUCES)(Total time spent by all reduces waiting after reserving slots \\(ms\\))(0)][(RACK_LOCAL_MAPS)(Rack-local map tasks)(95)][(FALLOW_SLOTS_MILLIS_MAPS)(Total time spent by all maps waiting after reserving slots \\(ms\\))(0)][(TOTAL_LAUNCHED_MAPS)(Launched map tasks)(144)][(DATA_LOCAL_MAPS)(Data-local map tasks)(49)][(SLOTS_MILLIS_REDUCES)(SLOTS_MILLIS_REDUCES)(29201550)]}{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(9899745)][(result40)(result40)(10)][(result20)(result20)(10)][(result0)(result0)(10)][(result30)(result30)(10)][(result10)(result10)(10)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(15983687142)][(HDFS_BYTES_READ)(HDFS_BYTES_READ)(246435226164)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(23944847690)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(8263652418)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(MAP_INPUT_RECORDS)(Map input records)(30000000)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(8427558064)][(SPILLED_RECORDS)(Spilled Records)(56427696)][(MAP_OUTPUT_BYTES)(Map output bytes)(165299860437)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(5581280)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(232768143360)][(COMBINE_INPUT_RECORDS)(Combine input records)(106426971)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(1395406)][(REDUCE_INPUT_RECORDS)(Reduce input records)(19900470)][(REDUCE_INPUT_GROUPS)(Reduce input groups)(10000050)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(56427696)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(224103780352)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(9899795)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(321976168448)][(MAP_OUTPUT_RECORDS)(Map output records)(69899745)]}" .

Task
TASKID="task_201210031529_0007_m_000145"
TASK_TYPE="SETUP"
START_TIME="1349325837198"
SPLITS="" .

Task
TASKID="task_201210031529_0007_m_000145"
TASK_TYPE="SETUP"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325838368"
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(72803)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(114061312)][(SPILLED_RECORDS)(Spilled Records)(0)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(130)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1029046272)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1436717056)]}" .

Task
TASKID="task_201210031529_0007_m_000001"
TASK_TYPE="MAP"
START_TIME="1349325840236"
SPLITS="/default-rack/hdslv01" .

Task TASKID="task_201210031529_0007_m_000010" TASK_TYPE="MAP" START_TIME="1349325840236" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000012" TASK_TYPE="MAP" START_TIME="1349325840237" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000013" TASK_TYPE="MAP" START_TIME="1349325840237" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000021" TASK_TYPE="MAP" START_TIME="1349325840238" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_m_000007" TASK_TYPE="MAP" START_TIME="1349325840517" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000015" TASK_TYPE="MAP" START_TIME="1349325840518" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000016" TASK_TYPE="MAP" START_TIME="1349325840518" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000036" TASK_TYPE="MAP" START_TIME="1349325840519" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000039" TASK_TYPE="MAP" START_TIME="1349325840519" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000047" TASK_TYPE="MAP" START_TIME="1349325840520" SPLITS="/default-rack/hdslv02" .
Task TASKID="task_201210031529_0007_m_000022" TASK_TYPE="MAP" START_TIME="1349325842818" SPLITS="/default-rack/hdslv01" .
Task TASKID="task_201210031529_0007_r_000000" TASK_TYPE="REDUCE" START_TIME="1349325846873" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000001" TASK_TYPE="REDUCE" START_TIME="1349325846926" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000002" TASK_TYPE="REDUCE" START_TIME="1349325846973" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000003" TASK_TYPE="REDUCE" START_TIME="1349325847277" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000004" TASK_TYPE="REDUCE" START_TIME="1349325847298" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000005" TASK_TYPE="REDUCE" START_TIME="1349325847310" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000006" TASK_TYPE="REDUCE" START_TIME="1349325847314" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000007" TASK_TYPE="REDUCE" START_TIME="1349325847678" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000008" TASK_TYPE="REDUCE" START_TIME="1349325847702" SPLITS="" .
Task TASKID="task_201210031529_0007_r_000009" TASK_TYPE="REDUCE" START_TIME="1349325847800" SPLITS="" .

Task
TASKID="task_201210031529_0007_m_000007"
TASK_TYPE="MAP"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325955624"
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2030398046)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(75542)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(50)][(MAP_INPUT_RECORDS)(Map input records)(247192)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(968900608)][(SPILLED_RECORDS)(Spilled Records)(50)][(MAP_OUTPUT_BYTES)(Map output bytes)(28427080)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(37650)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1070858240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1434906624)][(COMBINE_INPUT_RECORDS)(Combine input records)(1235960)][(MAP_OUTPUT_RECORDS)(Map output records)(1235960)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(11276)]}" .

Task
TASKID="task_201210031529_0007_r_000007"
TASK_TYPE="REDUCE"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349327950186"
COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(235652)][(result40)(result40)(0)][(result0)(result0)(0)][(result20)(result20)(0)][(result30)(result30)(0)][(result10)(result10)(0)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(168429113)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(168501835)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(196706757)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(238095)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(396067)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(200631847)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(1191866368)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(235652)][(SPILLED_RECORDS)(Spilled Records)(396067)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(20700)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1565917184)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2646269952)][(COMBINE_INPUT_RECORDS)(Combine input records)(396067)][(REDUCE_INPUT_RECORDS)(Reduce input records)(473747)]}" .

MapAttempt
TASK_TYPE="MAP"
TASKID="task_201210031529_0007_m_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_m_000007_0"
START_TIME="1349325840522"
TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247"
HTTP_PORT="50060" .

MapAttempt
TASK_TYPE="MAP"
TASKID="task_201210031529_0007_m_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_m_000007_0"
TASK_STATUS="SUCCESS"
FINISH_TIME="1349325955622"
HOSTNAME="/default-rack/hdslv02"
STATE_STRING=""
COUNTERS="{(FileSystemCounters)(FileSystemCounters)[(HDFS_BYTES_READ)(HDFS_BYTES_READ)(2030398046)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(75542)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(COMBINE_OUTPUT_RECORDS)(Combine output records)(50)][(MAP_INPUT_RECORDS)(Map input records)(247192)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(968900608)][(SPILLED_RECORDS)(Spilled Records)(50)][(MAP_OUTPUT_BYTES)(Map output bytes)(28427080)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(37650)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1070858240)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(1434906624)][(COMBINE_INPUT_RECORDS)(Combine input records)(1235960)][(MAP_OUTPUT_RECORDS)(Map output records)(1235960)][(SPLIT_RAW_BYTES)(SPLIT_RAW_BYTES)(11276)]}" .

ReduceAttempt
TASK_TYPE="REDUCE"
TASKID="task_201210031529_0007_r_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_r_000007_0"
START_TIME="1349325848847"
TRACKER_NAME="tracker_hdslv02:localhost\.localdomain/127\.0\.0\.1:56247"
HTTP_PORT="50060" .

ReduceAttempt
TASK_TYPE="REDUCE"
TASKID="task_201210031529_0007_r_000007"
TASK_ATTEMPT_ID="attempt_201210031529_0007_r_000007_0"
TASK_STATUS="SUCCESS"
SHUFFLE_FINISHED="1349327889352"
SORT_FINISHED="1349327889361"
FINISH_TIME="1349327950181"
HOSTNAME="/default-rack/hdslv02"
STATE_STRING="reduce > reduce"
COUNTERS="{(com\.asakusafw\.stage\.output\.RecordCounters)(com\.asakusafw\.stage\.output\.RecordCounters)[(result50)(result50)(235652)][(result40)(result40)(0)][(result0)(result0)(0)][(result20)(result20)(0)][(result30)(result30)(0)][(result10)(result10)(0)]}{(FileSystemCounters)(FileSystemCounters)[(FILE_BYTES_READ)(FILE_BYTES_READ)(168429113)][(FILE_BYTES_WRITTEN)(FILE_BYTES_WRITTEN)(168501835)][(HDFS_BYTES_WRITTEN)(HDFS_BYTES_WRITTEN)(196706757)]}{(org\.apache\.hadoop\.mapred\.Task$Counter)(Map-Reduce Framework)[(REDUCE_INPUT_GROUPS)(Reduce input groups)(238095)][(COMBINE_OUTPUT_RECORDS)(Combine output records)(396067)][(REDUCE_SHUFFLE_BYTES)(Reduce shuffle bytes)(200631847)][(PHYSICAL_MEMORY_BYTES)(Physical memory \\(bytes\\) snapshot)(1191866368)][(REDUCE_OUTPUT_RECORDS)(Reduce output records)(235652)][(SPILLED_RECORDS)(Spilled Records)(396067)][(CPU_MILLISECONDS)(CPU time spent \\(ms\\))(20700)][(COMMITTED_HEAP_BYTES)(Total committed heap usage \\(bytes\\))(1565917184)][(VIRTUAL_MEMORY_BYTES)(Virtual memory \\(bytes\\) snapshot)(2646269952)][(COMBINE_INPUT_RECORDS)(Combine input records)(396067)][(REDUCE_INPUT_RECORDS)(Reduce input records)(473747)]}" .

Attemptとかは、FAILで終わるとエラーログを持っていたりもしますが、上に出しているのは正常系のものだけです。


という感じで、とりあえず欲しいものは見つかりました。

Safariでpdfが保存できなかった

のをどうにかした。事象としては、Safariで開けるけど名前をつけて保存をしたpdfが0kbで保存されて他のPDF Viewerで開けない、というのが正確。ブラウザで開けているものを適切に保存できない理由はよくわからないけど。

原因はAdobe Acrobat X Proをインストールしたときについてくるプラグインにあったっぽい。

https://discussions.apple.com/thread/3878371

cd /Library/
sudo mkdir "Internet Plug-Ins_"
sudo mv Internet\ Plug-Ins/AdobePDFViewerNPAPI.plugin/ Internet\ Plug-Ins_/

こんな感じにしてsafari再起動。

夏休みなので富士山五合目まで自転車で行ってきたよ

諸般の事情によりここ一年ちょいくらい長めの休みを取っていなかったので、一週間くらい休んで富士山まで行ってきました。気づいたら http://togetter.com/li/368472 こんなものまでできている感じですが、道中それなりにつらかったり、3Gがつながらなかったりいろいろあったので、まとめておきます。

富士山に自転車で登ろうと思ったのはなんとなくで、去年は普通の週末に荒川CRで上尾までいって一泊してきたので、それに近いノリでそういう自転車旅行が楽しそうだなあといろいろ調べていて、一週間くらいあれば天候とかアクシデントとかを織り込んでもまあなんとかなりそう、というのでやってみました。富士山までの経路は、品川〜多摩CR〜津久井湖〜道志みち〜山中湖〜河口湖、という感じで、もろもろ想像していたよりは辛かったです。

結局、9/1から9/7まで、ちょうど一週間くらいで行って帰ってきました。基本的に、翌日の行動は前日に選択肢を考えておいて、翌日の朝にどうするか決めています。以下時系列でまとめていきます。

・9/1 土曜日
午前中に出発しようと思ったのですが、午前中が雨で、午後にかけてもかなり強い雨が降っていていやな感じでした。出発しなくてもよかったのですが、前日に、おまえは土曜日に出発しないと永遠に出発しないだろう、というような事を言われ、それも確かにそうだなあと思ったので、結構な見切り発車で18時ごろ出発しました。品川〜二子玉川〜多摩CR〜府中あたりのビジネスホテルくらいの経路で、多摩CRに入った後に結構な大雨に直撃され、東名高速との交差で雨宿りして出発したことを後悔しつつ、20時くらいに適当に http://www.st-hotel-chabo.jp 宿を取りました。この辺は都内なので写真はないです。

翌日は道志みちの半分くらいまでいければいいかなと思っていました。

・9/2 日曜日
で、翌日も雨の気配を感じつつ10時頃出発し、11時くらいに雨に降られてファミレスで待機したり、ブレーキの効きが悪くてパッドを交換してもらったり、なんやかんやで16時頃に橋本駅周辺について、これから道志みちにはいるのもあれだなあと思い、結局、東横インに泊まりました。

イメージ的には雨で一日くらいビハインドだけど、坂道を上ったり下ったりとで疲れていたので、まあこれはこれでいいかなあと思っていました。なおここまでの坂は旅程の中でも最弱だったりはしています。

・9/3 月曜日
午前中に出発して、津久井湖周辺までは割と快調に進んでいました。都内を抜けてようやくそれらしい景観の場所に着いたので、この辺から写真を撮り始めています。

道志みちに入ってからは、入った直後の坂が上れず早速心をおられました。まあゆっくりでも進めばいいので、とりあえず気合いで進んで、

天気がいいなあと思ったら、


雨に降られてしまいました。ここまで三日連続で雨に降られています。坂にも雨に降られるのにも疲れたので、16時くらいに道志の湯について、すっかり気分がよくなったのであきらめて民宿 http://doshi-kanko.com/minsyuku_01/hikarisou/index.html に泊まりました。泊まったのが平日の中盤くらいだったので、僕一人で貸し切りのような感じになっています。父方の実家に帰った気分になりました。

前評判では、道志みちの後半戦は厳しい登りがあるというのでこの時点でかなり心はおられ気味ですが、ここで引き返すのもあれだし、気合いで登り切るという方向で考えています。と、河口湖に温泉付のホテルをとったので、まあ多少時間がかかってもお楽しみがあるからがんばろうというのと、今日の走行距離より明日の走行距離のほうが短く、天候も回復というか安定しそうだったので、まあまあ前向きです。

・9/4 火曜日
道志みちの後半から河口湖まで戦です。だいたい三つのフェーズに分かれていて、民宿〜道志道の駅、道の駅〜山伏峠、山伏峠〜山中湖という感じです。一つ目は評判としてはそれほどきつくなく、二つ目はかなりきつめ、三つ目はダウンヒルなので楽勝、という内容でした。距離的には三つとも大体同じくらいのはずです。

道志道の駅までは昨日のやられっぷりと比べて快調で、だいぶ気をよくします。

ここからが本当の地獄で、写真もなにもとっていない位に余裕がなかったようです。道志みちは自動販売機が結構頻繁においてあり、補給に困らなかったのが救いでした。

道の駅から二時間かけて山伏峠にたどり着きます。

山伏峠以降は下り最高だなあと思いながらガンガン進みます。旅程における峠を越えたので、ソフトクリームをたべたり白鳥号にのったりして遊びました。


あとは、萌えキャラ http://fujiyoshida-saori.com がいる道の駅に寄ったりして、温泉付のホテル http://www.fuyo-hs.jp に泊まりました。温泉いいですね。

ちなみにこの桜織さんは23歳なのでお酒を飲んでも大丈夫なようです。

ここまでたどり着くのにも結構疲弊感があったので、五合目までいくのはどうしようかなあと、車で登っても別にいいかなあと思いつつ、明日だめなら明後日もあるし、とりあえず気合いで登ってみることにしました。前評判で4時間見とけば大丈夫との情報があったので、5時間くらいで考えていました。

・9/5 水曜日
ホテルの部屋からは富士山が見えました。温泉・居酒屋・ホテルのセットで寝転がると富士山が見えるというのはなかなかの贅沢だと思いました。

で、午前中に出発しようと思ったけどここまでで結構消耗していたので、予報で日差しが曇る午後まで待つという戦略をとります。というかもう正直ここまでで結構疲れていて、距離的にはたいした事はないのですが、特に雨待機が面倒で、若干やる気がなくなっていたというのもあります。まあせっかく麓まできたのでがんばろうと、そんな気分で出発します。

スバルラインの入り口で、がんばりはじめるところです。斜度に関してはここから料金所までが一番傾いているという噂があります。

料金所です。このタイミングでも雨に降られています。もうやだ帰るとか思ったけど、脇にあるトイレで待機していたら落ち着いてきたので、200円払って進みます。

一合目。だいたいここまでで距離的には1/3くらいを終えています。合目の数え方については諸説あるようですが、とりあえず登り道の距離とは関係がないです。


このへんの植生は森って感じですね。樹海感があります。あとは気合いで登ります。

一合目以降はそれほどきつい坂はないという前評判だったのですが、準備していたポカリスエットが足りなくなりそうで、結構辛い展開でした。補給は四合目手前の大沢駐車場までできないので、残ポカリが青いラベルの下の部分を下回ったら下山しようと決めたのがこのへんです。

二合目から三合目までは水分を消費せずウィダーインゼリーでやりくりしました。つらいつらい。


何とか大沢駐車場まで基準をクリアしたので、アクエリアスを180円で買い込んで、なんとしてでも登ろうと決意を固めました。この辺で肌寒くなってきたので、たぶん時間帯と標高と両方ですが、ウィンドブレーカーを装備します。

なんとか五合目までつきました。入り口から登り6時間コースでした。もうちょっとどうにかなると思っていたのですが、たぶん体重とかがヒルクライムをやるには重すぎですね。このへん、心霊写真のようですが、iphoneで拾えてないだけで、自転車のライトで路面が見える程度には照らせています。

五合目には四合目付近と同じく売店があり、名物の豚まんを食べます。ほんとうに豚野郎でした。

下山して酒を飲みます。旅程初の飲酒でした。ほんとうに豚野郎でした。

全体としていろいろぐだぐだ感はある五合目登山でしたが、まあいろいろしょうがないと思います。とりあえず減量してそのうち再挑戦しようと思いました。翌日以降、帰路をどうしようかなあというのが悩みどころであって、いったん御殿場経由で小田原まで抜けて帰るか、道志みちをくだるか、大月まで行って輪行するか、西にいけるまで行ってみるか、いろいろ考えましたが、自転車は疲れたしケツが痛くなるしでもう乗りたくなく、車を借りて帰ることにしました。車借りるならついでにスバルラインを途中まで車で登ろうと思い立ちます。今日とれなかった記念写真も撮れるし。

・9/6 木曜日

文明の利器で復讐戦を試みます。

昨日苦労してたどりついた四合目補給ポイントまで30分弱でつきます。ぶんめいこわいですね。

五合目の3km手前くらいの駐車場から展望台に出ることができるようになっていて、その道です。なにげに結構傾斜があって、歩くとつんのめりそうになります。

五合目なので、雲の上にいます。クラウドです。

五合目なので、一合目なんかとは植生が異なります。いわゆる垂直分布というやつです。火山なので岩があります。

いちおう3kmほど自転車で登りました。昨日の心霊写真はこんな感じになっているところでした。

山頂といっしょに記念写真です。

このあとは車で富士五湖を巡ったりしましたが、そろそろ写真のアップロード容量があれらしいので、省略します。

一週間くらい旅をしたので、そろそろ帰りたい帰りたいという気分になっていました。車で都内まで帰って乗り捨てようかと思ったのですが、よく考えるとここまで無駄にお金を使っていて、白鳥号とか、なので、大月で車を返して輪行で帰るコースにしようかなあと思いつつ、温泉を堪能して眠ります。なにげに四日くらい連続で温泉に入っていますが、やはり運動した後の温泉はなかなかよいものですね。よいものでした。

・9/7 金曜日
もう帰るだけなのであまり見所はないです。

輪行します。

きたく。お土産は富士山生まれ富士山育ちの富士子ちゃんと富士雄くんでした。


感想。
・スポーツとして自転車をやるなら減量しないといけないですね。物理で習うような斜面における力の働き方みたいなものを思い出しました。
・ぶんめいこわいですね。自動車の力もさることながら、山の中を切り拓いて道をつくるというエネルギーが空恐ろしかったです。都会の存在のほうがよっぽどあれですが、普段あんまり意識しなかった。
・宿とか天候とか補給を気にしなくてよい生活はよいものですね。まあ計画の精度をあげるという方向性もあると思いますが。
・あきらめなければこのくらいのことはできるという気合いの力については今更いうまでもないですが、休みなのに休んでない感とすごく休んだ感が混在する不思議な感覚があります。
・今度は、ニュージーランドの自転車ツアーに行くとか、伊豆大島一周とか、そのあたりが旅候補です。ほんとはトルコあたりを回ってみたいのですが、周辺の情勢とかいろいろあるので。