タグ: Zookeeper

Raspberry Pi 2でクラスタ構築 その４(Hadoop編)

前回、HDFS高可用性（HA）機能を設定した。今回はResourceManagerをHA化する。

準備

SDカードの寿命を縮めるため、あまり推奨は出来ないが、本格的にメモリ不足のため、念のためスワップ領域を作成しておく。

1
2
3
4
5
6
7
8
9
sudo mkdir /var/swap
sudo dd if=/dev/zero of=/var/swap/swap0 bs=1M count=2048
sudo chmod 600 /var/swap/swap0
sudo mkswap /var/swap/swap0
sudo swapon /var/swap/swap0
#再起動後も自動的にスワップ領域が適用されるようにする
sudo vi /etc/fstab
#下記の行を追加する
/var/swap/swap0 none swap defaults 0 0

2021/02/25 追記:
SDカードへ書き込みを少なくするため、スワップの頻度が少なくなるように調整する。

1
2
3
4
5
6
7
8
9
10
11
12
#スワップの閾値を確認
cat /proc/sys/vm/swappiness
> 60
 
sudo vi /etc/sysctl.conf
#下記を追記する（物理メモリが1%以下になったらスワップを開始）
vm.swappiness = 1
 
#設定を反映
sudo sysctl -p
cat /proc/sys/vm/swappiness
> 1

サーバー構成を検討

NameNodeは奇数で構成する必要があったが、ResourceManagerはそのような制約はないため、下記の２台構成とする。

master1・・・Zookeeper,NameNode(Standby), ResourceManager(Standby)
master2・・・Zookeeper,NameNode(Standby), ResourceManager(Active)
master3・・・Zookeeper,NameNode(Active)
slave1・・・DataNode, NodeManager
slave2・・・DataNode, NodeManager
slave3・・・DataNode, NodeManager
slave4・・・DataNode, NodeManager

ResourceManager高可用性（HA）機能の設定

master1～2のetc/hadoop/yarn-site.xmlを編集する。(メモリ関連の記述は省略)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>rpcluster_r</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
  <name>yarn.resourcemanager.recovery.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.store.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>master1:2181,master2:2181,master3:2181</value>
</property>

slave1～4のetc/hadoop/yarn-site.xmlを編集する。(メモリ関連の記述は省略)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>rpcluster_r</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
  <name>yarn.resourcemanager.recovery.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.store.class</name>
  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>master1:2181,master2:2181,master3:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

ResourceManagerの起動

master1で下記コマンドを実行し、ResourceManagerを起動する。

1
$HADOOP_HOME/sbin/start-yarn.sh

起動が確認できたので、実際に処理を実行してみる。

1
$HADOOP_HOME/bin/hadoop jar /home/xxx/hadoop-latest/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 10 10000

最終的に下記の結果が表示された。スワップを設定したからか今回は前回に比べて50秒ほど早く処理が終わった。

1
2
Job Finished in 256.114 seconds
Estimated value of Pi is 3.14120000000000000000

Raspberry Pi 2でクラスタ構築 その３(Hadoop編)

前回の構成ではNameNodeが単一障害点になっていたため、HDFS高可用性（HA）機能を試してみる。

サーバー構成を検討

スタンバイのNameNodeがSecondary NameNodeの代わりになるため、Secondary NameNodeは不要になる。

master1・・・Zookeeper,NameNode(Active), ResourceManager
master2・・・Zookeeper,NameNode(Standby)
master3・・・Zookeeper,NameNode(Standby)
slave1・・・DataNode, NodeManager
slave2・・・DataNode, NodeManager
slave3・・・DataNode, NodeManager
slave4・・・DataNode, NodeManager

Zookeeperをインストール

master1～3にインストールする。

1
2
3
wget https://downloads.apache.org/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
tar xvfz apache-zookeeper-3.6.2-bin.tar.gz
ln -nfs /home/xxx/apache-zookeeper-3.6.2-bin zookeeper-latest

master1～3のconf/zoo.cfgを編集する。

1
2
3
4
5
6
7
8
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/home/xxx/zookeeper-latest/data
clientPort=2181
server.1=master1:2888:3888
server.2=master2:2888:3888
server.3=master3:2888:3888

master1～3の~/zookeeper-latest/data/myidファイルを作成し、server.xで指定した数字と同じ数字を記入する。
その後、master1～3のZookeeperを順次起動する。

1
~/zookeeper-latest/bin/zkServer.sh start

HDFS高可用性（HA）機能の設定

master1～3のetc/hadoop/hdfs-site.xmlを編集する。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
<property>
  <name>dfs.nameservices</name>
  <value>rpcluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.rpcluster</name>
  <value>nn1,nn2,nn3</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn1</name>
  <value>master1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn2</name>
  <value>master2:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn3</name>
  <value>master3:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn1</name>
  <value>master1:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn2</name>
  <value>master2:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn3</name>
  <value>master3:9870</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master1:8485;master2:8485;master3:8485/rpcluster</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.rpcluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/ubuntu/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>shell(/bin/true)</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master1:2181,master2:2181,master3:2181</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/ubuntu/hadoop-latest/dfs/journalnode</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/ubuntu/hadoop-latest/dfs/namenode</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

slave1～4のetc/hadoop/hdfs-site.xmlを編集する。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
<property>
  <name>dfs.nameservices</name>
  <value>rpcluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.rpcluster</name>
  <value>nn1,nn2,nn3</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn1</name>
  <value>master1:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn2</name>
  <value>master2:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.rpcluster.nn3</name>
  <value>master3:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn1</name>
  <value>master1:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn2</name>
  <value>master2:9870</value>
</property>
<property>
  <name>dfs.namenode.http-address.rpcluster.nn3</name>
  <value>master3:9870</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://master1:8485;master2:8485;master3:8485/rpcluster</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.rpcluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/home/ubuntu/.ssh/id_rsa</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>shell(/bin/true)</value>
</property>
<property>
  <name>dfs.ha.automatic-failover.enabled</name>
  <value>true</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master1:2181,master2:2181,master3:2181</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/mnt/usbhdd/hadoop/data</value>
</property>

master1～3、slave1～4のetc/hadoop/core-site.xmlを編集する。

1
2
3
4
5
6
7
8
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://rpcluster</value>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master1:2181,master2:2181,master3:2181</value>
</property>

HDFSのフォーマット

master1～3のJournalNodeのみ起動する。

1
$HADOOP_HOME/bin/hdfs --daemon start journalnode

master1でNameNodeをフォーマットする。

1
2
3
$HADOOP_HOME/bin/hdfs namenode -format
$HADOOP_HOME/bin/hdfs namenode -initializeSharedEdits -force
$HADOOP_HOME/bin/hdfs zkfc -formatZK -force

master1のNameNodeのみ起動する。

1
$HADOOP_HOME/bin/hdfs --daemon start namenode

master2、3でスタンバイ用のNameNodeを作成する。

1
$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby -force

HDFSの起動

全てのNameNode、JournalNodeを停止する。

1
2
$HADOOP_HOME/bin/hdfs --daemon stop namenode
$HADOOP_HOME/bin/hdfs --daemon stop journalnode

master1で下記コマンドを実行し、HDFSを再起動する。

1
$HADOOP_HOME/sbin/start-dfs.sh

次回、ResourceManagerをHA化する。