Hadoop (2) 疑似分散モード

前回の続き
Hadoop (1) スタンドアロン

設定ファイルをいじくる。



# vi conf/core-site.xml
---------------------

<configuration>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:9000</value>
  </property>
</configuration>

---------------------


# vi conf/hdfs-site.xml
---------------------

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

---------------------


# vi mapred-site.xml
---------------------

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

---------------------


HDFSをフォーマット

-bash-3.00$ ./hadoop namenode -format
10/07/24 00:15:47 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hdp01/192.168.1.51
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/07/24 00:15:47 INFO namenode.FSNamesystem: fsOwner=DrWho,other
10/07/24 00:15:47 INFO namenode.FSNamesystem: supergroup=supergroup
10/07/24 00:15:47 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/07/24 00:15:47 INFO common.Storage: Image file of size 95 saved in 0 seconds.
10/07/24 00:15:47 INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.
10/07/24 00:15:47 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hdp01/192.168.1.51
************************************************************/

こんだけ、HDFSをフォーマットする以外あんまり変わらない。

後、動きをみていると、この設定だと、HDFSは/tmp配下に作られるようで、これはいろいろ都合が悪い。Linux系は再起動時にtmpはクリアされてしまうし、Solarisはそもそも/tmp ＝ swapなので容量がすごく小さい。

この設定はhdfs-site.xmlで変えられるようだ。

次回は完全分散モードでの実行を試してみるけど、その時にはちゃんとディレクトリを指定することにしよう。


＊追記
XMLが表示されない・・・特殊文字で書かないとだめなのかな。
そのうち修正。


＊追記2
修正。