第一次部屬 Hadoop 就上手 – Part 3 – Hadoop 服務啟動
Hadoop叢集基礎架設範例
-
要準備的事項
- 選定架設機器(本範例使用 5台 , ip 30-34)
-
本範例使用 Ubuntu 18.04 ,並使用 VMware 方便克隆多台電腦
-
資源配置如下:
1台機器 for NameNode 1台機器 for ResourceManager 3台機器 for Worker 每台機器資源均為: Cpu : 4 core Ram : 8 G
承上 part 2 , 將Hadoop 安裝及配置好後,開始執行 機器複製 及啟動 Hadoop 服務
-
複製電腦 (管理者身份)
* 使用前檢查事項: * 停用IPv6 * 建立hadoop帳號 * 完成無密碼login * 建立hosts檔 * 建立worker檔 * 安裝OpenSSH server * OpenJDK8安裝並設定 * 下載hadoop並修改完環境變數及相關設定 * 確認無誤再執行不然會多做很多事情...
- 複製資料夾並更改資料夾名稱
- 更改UUID(與資料夾名稱一樣)
- 開機時候選擇I Copied It(會自動建立新的MAC)
- 編輯cloud.cfg設定檔
sudo nano /etc/cloud/cloud.cfg
- 修改hostname
hostnamectl set-hostname <HOSTNAME> # HOSTNAME自行設定
- 編輯50-cloud-init.yaml設定檔,修改網路IP
sudo nano /etc/netplan/50-cloud-init.yaml
- 套用網路設定
sudo netplan apply
- 重開機
reboot
8.( 上述步驟, 有多少台機器就重複做幾次…)
- 等待全部電腦開機, 並確認正常啟動
- Namenode format(hadoop身份)
hdfs namenode -format #只有Namenode那一台
- 啟動hdfs(hadoop身份)
start-dfs.sh #只有Namenode那一台
http://test30.example.org:9870
- 啟動yarn(hadoop身份)
start-yarn.sh #只有Resourcemanager那一台
http://test31.example.org:8088/
- 啟動History Server(hadoop身份)
mapred --daemon start historyserver #只有History Server那一台
#mr-jobhistory-daemon.sh start historyserver (deprecated)
- 跑個pi 測試一下mapreduce (hadoop身份)
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 30 100
會自動建立hadoop的目錄
恭喜你完成第一階段 Hadoop 基本架設
* 後續尚有進階操作可以選:
1. Spark 及 Jupyter NoteBook 應用程式安裝
2. 叢集高可用性 HA(high availability)架設
3. Spark on R 架設