impalaあきらめそう

紆余曲折あったのでとりあえず心の平穏を取り戻すために整理します。

・手元の環境がubuntuで、これにimpalaを入れようとしてみた
・cloudera manager free editionで入る雰囲気(インストール可能なプロセスとして表示される)でインストールも成功したかのように表示されるけど、プロセスの起動には失敗するという現象が起こる
・なんやかんやでcentosの6.2でないとだめな事に気づく
・別にcentos5.7のhadoopクラスタがあって、いろいろ相談した結果、二つのクラスタをまとめて新しい一つのクラスタにしようということになる
・HDD入れ替えしたりとか配線をあれしたりとかいろいろ物理的な作業をしたりとかしてつかれる
・マシンのふたを閉めるときに腕の皮を挟んで非常に痛い思いをする
centos 6.2をインストールしたらなぜかnicのデバイスドライバがなくて困る
デバイスドライバをダウンロードして入れようとしたらmakefileが腐ってるっぽくてインストールができない
・あきらめてec2のcentosにcloudera managerでimpalaを入れようとしたら以下の様なエラーになる

  1. IMPALA_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf
  2. export HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  3. HADOOP_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hadoop-conf
  4. export HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  5. HIVE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hive-conf
  6. export HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  7. HBASE_CONF_DIR=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/hbase-conf
  8. FLAG_FILE=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  9. perl -pi -e 's#{{CMF_CONF_DIR}}#/var/run/cloudera-scm-agent/process/50-impala-IMPALAD#g' /var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags
  10. '[' impalad = impalad ']'
  11. exec impalad --flagfile=/var/run/cloudera-scm-agent/process/50-impala-IMPALAD/impala-conf/impalad_flags

E1109 04:25:51.845830 2008 timestamp-functions.cc:420] Could not create temporary timezone file: /tmp/impala.tzdb.X5y4lxh
E1109 04:25:51.931691 2008 impala-server.cc:650] java.lang.RuntimeException: Failed to initialize default Hive configuration variables!
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:714)
at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:885)
at org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:846)
at com.cloudera.impala.catalog.Catalog.(Catalog.java:55)
at com.cloudera.impala.service.Frontend.(Frontend.java:73)
at com.cloudera.impala.service.JniFrontend.(JniFrontend.java:46)
Caused by: java.io.IOException: Permission denied
at java.io.UnixFileSystem.createFileExclusively(Native Method)
at java.io.File.checkAndCreate(File.java:1704)
at java.io.File.createTempFile(File.java:1792)
at java.io.File.createTempFile(File.java:1828)
at org.apache.hadoop.hive.conf.HiveConf.getConfVarURL(HiveConf.java:703)
... 5 more

いろいろ余計なことをしたり余計なところでトラブってるのもあってあれですが、初めてhadoopで完全分散環境をつくろうとしたときもこれほどストレスを感じてはいなかったと思い起こされるところではあります。