第一次部屬 Hadoop 就上手 – Part 3 – Hadoop 服務啟動

Hadoop叢集基礎架設範例

0. 要準備的事項

   1. 選定架設機器（本範例使用 5台 ， ip 30-34)

   

   2. 本範例使用 Ubuntu 18.04 ，並使用 VMware 方便克隆多台電腦

   3. 資源配置如下：

   1台機器 for NameNode
   1台機器 for ResourceManager
   3台機器 for Worker
   
   每台機器資源均為：  
   Cpu : 4 core
   Ram : 8 G
   

---

承上 part 2 ， 將Hadoop 安裝及配置好後，開始執行 機器複製 及啟動 Hadoop 服務

15. 複製電腦 (管理者身份)

    * 使用前檢查事項:
    * 停用IPv6
    * 建立hadoop帳號
    * 完成無密碼login
    * 建立hosts檔
    * 建立worker檔
    * 安裝OpenSSH server
    * OpenJDK8安裝並設定
    * 下載hadoop並修改完環境變數及相關設定
    * 確認無誤再執行不然會多做很多事情...
    

    1. 複製資料夾並更改資料夾名稱

    

    3. 更改UUID(與資料夾名稱一樣)

    

    4. 開機時候選擇I Copied It(會自動建立新的MAC)

    

    6. 編輯cloud.cfg設定檔

    sudo nano /etc/cloud/cloud.cfg
    

    

    4. 修改hostname

    hostnamectl set-hostname <HOSTNAME> # HOSTNAME自行設定
    

    

    5. 編輯50-cloud-init.yaml設定檔，修改網路IP

    sudo nano /etc/netplan/50-cloud-init.yaml
    

    

    6. 套用網路設定

    sudo netplan apply
    

    

    7. 重開機

    reboot
    

    8.( 上述步驟， 有多少台機器就重複做幾次…)

• 等待全部電腦開機， 並確認正常啟動

---

16. Namenode format(hadoop身份)

hdfs namenode -format #只有Namenode那一台

---

17. 啟動hdfs(hadoop身份)

start-dfs.sh #只有Namenode那一台

http://test30.example.org:9870

---

18. 啟動yarn(hadoop身份)

start-yarn.sh #只有Resourcemanager那一台

http://test31.example.org:8088/

---

19. 啟動History Server(hadoop身份)

mapred --daemon start historyserver #只有History Server那一台
#mr-jobhistory-daemon.sh start historyserver (deprecated)

---

20. 跑個pi 測試一下mapreduce (hadoop身份)

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 30 100

會自動建立hadoop的目錄

恭喜你完成第一階段 Hadoop 基本架設

* 後續尚有進階操作可以選：
1. Spark 及 Jupyter NoteBook 應用程式安裝
2. 叢集高可用性 HA(high availability)架設
3. Spark on R 架設