読者です 読者をやめる 読者になる 読者になる

ゴールデンウィークだからエバラ焼き肉のたれ黄金の味で焼き肉をやるかわりにapache pigと戯れてやるよこの豚野郎 part 4

なんかバックアップに残ってたのでせっかくなので。そういや最近ぶたってない。


marblejenka shingo furuyama
iterationも、とりあえずMRのjobなげるオーバーヘッドは考えないことにして、twisterとかhaloopでごまかす、というのもありっちゃありかもしれない。たぶんそこが限界になるけど。
8月5日 お気に入り 返信 削除

marblejenka shingo furuyama
豚の場合、データ見て最適化とかしないから、データ流量をモニタリングして設計の前提が崩れたら別なふうに最適化するとか?または、データ見て最適化の機能を追加するのにつかうとか。
8月5日

marblejenka shingo furuyama
と、 pig.apache.org/docs/r0.9.0/te… は面白いかもしれない。(たぶん)論理的な演算子の各outputにエージェントを仕込める感じ。”monitoring and debugging”という用途に適してるのかどうか。
8月5日

marblejenka shingo furuyama
hortonworks.com/new-apache-pig… ”Project-range expression"は便利と言えば便利。pig的にはよい路線価も。”Combiner optimization in more cases”はalgebraicなやつでcombinerが利くとか。
8月5日

marblejenka shingo furuyama
いや、もうちょっと使いではありそうではあるんだけど、しょせん豚なのでどこまでの用途で納めるかという方向で考えた方がいいんじゃないかと。
8月5日

marblejenka shingo furuyama
hortonworks.com/new-apache-pig…  似たようなのがどっかであった気がする。pigは普通に書いといてpythonからどうにかすることもできるよ、というのと、iterationがないとこまるよね、という感じか。
8月5日

marblejenka shingo furuyama
豚macroは関数っぽいのが作れて便利。UDFをスクリプト言語で書けるサポートとは、リレーションを扱うかリレーションの中身を扱うかが微妙に違う感じかなあ。 hortonworks.com/new-apache-pig…
8月5日