hadoop と hbase のメモ

あちこちに「HBase 使えねー」って書いてあって、
ヘコみ気味です(´・ω・`)
うーん Hive 使ったほうが良いのかなぁ。

さて、今日悩んだことの自分用メモ。
すごい初歩的なことばかりで、大変恥ずかしいのだが。
というのも、バージョン 0.18 と 0.19 を
あーでもないこーでもないと切り替えながら作業しているので、
設定が間違えているだけなのに、動かないー!なんて思ってしまうことがある。
そして設定が合っていても本当に動かないこともあるので、
それがまた…。

・64bit の Fedora 10 で動かしているんだが
 hadoop 0.19 はイマイチうまいこといかない。
 hadoop 0.18 が良さそう。
 hbase のバージョンも hadoop に合わせて
 hbase 0.18 にすること。

・以下の設定を合わせること
これあんまりよそに書いてないんだけど、常識だから?
※まだちゃんと最後まで動かせていないので、この部分は変更の可能性アリ
$HADOOP_HOME/conf/hadoop-site.xml
<property>
  <name>fs.default.name</name>
  <value>hdfs://myserver:90000</value>
</property>

$HBASE_HOME/conf/hbase-site.xml
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://myserver:90000/hbase</value>
  <description>The directory shared by region servers.</description>
</property>


・設定を変更したり再起動したりしたら、
 ちゃんと hadoop が動いているか、確認してから hbase を起動すること。
 プロセスがあるだけでは信用できないので、
 example の wordcount を動かしてみること。
 hbase の確認には、hbase shell で list とやってみる。
 プログラムを動かす前に、
 hadoop と hbase が間違いなく起動していることを確認すること。

・hbase shell でカラムを検索する場合
 ※DBのスキーマ(?)については「こどもてれび」さんところの「HBase入門」参照
 ver0.18.* scan 'scores', ['course:']
 ver0.19.* scan 'scores', { COLUMNS=>['course:'] }
[PR]
by xiaoxia | 2009-06-08 18:08 | コンピュータ関係 | Comments(0)

ダメ女プログラマ&主婦&腐女子&バイオリン弾き


by 小霞