rocket launch, rocket, lift up

第一次部屬 Hadoop 就上手 – Part 3 – Hadoop 服務啟動

Hadoop叢集基礎架設範例

  1. 要準備的事項

    1. 選定架設機器(本範例使用 5台 , ip 30-34)

    1. 本範例使用 Ubuntu 18.04 ,並使用 VMware 方便克隆多台電腦

    2. 資源配置如下:

    1台機器 for NameNode
    1台機器 for ResourceManager
    3台機器 for Worker
    
    每台機器資源均為:  
    Cpu : 4 core
    Ram : 8 G
    

承上 part 2 , 將Hadoop 安裝及配置好後,開始執行 機器複製 及啟動 Hadoop 服務

  1. 複製電腦 (管理者身份)

    * 使用前檢查事項:
    * 停用IPv6
    * 建立hadoop帳號
    * 完成無密碼login
    * 建立hosts檔
    * 建立worker檔
    * 安裝OpenSSH server
    * OpenJDK8安裝並設定
    * 下載hadoop並修改完環境變數及相關設定
    * 確認無誤再執行不然會多做很多事情...
    
    1. 複製資料夾並更改資料夾名稱

    1. 更改UUID(與資料夾名稱一樣)

    1. 開機時候選擇I Copied It(會自動建立新的MAC)

    1. 編輯cloud.cfg設定檔
    sudo nano /etc/cloud/cloud.cfg
    

    1. 修改hostname
    hostnamectl set-hostname <HOSTNAME> # HOSTNAME自行設定
    

    1. 編輯50-cloud-init.yaml設定檔,修改網路IP
    sudo nano /etc/netplan/50-cloud-init.yaml
    

    1. 套用網路設定
    sudo netplan apply
    

    1. 重開機
    reboot
    

    8.( 上述步驟, 有多少台機器就重複做幾次…)

  • 等待全部電腦開機, 並確認正常啟動


  1. Namenode format(hadoop身份)
hdfs namenode -format #只有Namenode那一台


  1. 啟動hdfs(hadoop身份)
start-dfs.sh #只有Namenode那一台

http://test30.example.org:9870


  1. 啟動yarn(hadoop身份)
start-yarn.sh #只有Resourcemanager那一台

http://test31.example.org:8088/


  1. 啟動History Server(hadoop身份)
mapred --daemon start historyserver #只有History Server那一台
#mr-jobhistory-daemon.sh start historyserver (deprecated)


  1. 跑個pi 測試一下mapreduce (hadoop身份)
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 30 100

會自動建立hadoop的目錄

恭喜你完成第一階段 Hadoop 基本架設

* 後續尚有進階操作可以選:
1. Spark 及 Jupyter NoteBook 應用程式安裝
2. 叢集高可用性 HA(high availability)架設
3. Spark on R 架設

Similar Posts

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。