elephant, animal, low poly

第一次部屬 Hadoop 就上手 – Part 1 – 環境基礎建置

Hadoop 介紹及說明:

請參閱大數據你必須要知道-Hadoop跳舞的大象

Hadoop叢集基礎架設範例

  1. 要準備的事項

    1. 選定架設機器(本範例使用 5台 , ip 30-34)

    1. 本範例使用 Ubuntu 18.04 ,並使用 VMware 方便克隆多台電腦

    2. 資源配置如下:

    1台機器 for NameNode
    1台機器 for ResourceManager
    3台機器 for Worker
    
    每台機器資源均為:  
    Cpu : 4 core
    Ram : 8 G
    

部屬開始:

一、 基礎系統初始化

  1. 停用IPv6(管理者身份)

    1. 檢查一下網路跟監聽的狀態(切換管理者)
    ip addr show
    lsof -nPi
    

    1. 修改開機設定檔
    nano /etc/default/grub
    

    1. 更新開機設定檔
    update-grub # update-grub2 
    

    1. 重新開機
    reboot
    
    1. 檢查一下IPv6是否已經停用了
    ip addr show
    lsof -nPi
    

  1. 安裝pip(管理者身份) <– 如不使用 Jupyter 可跳過此步驟

    1. 安裝python開發工具箱
    sudo apt update
    sudo apt install python3-dev
    
    1. 安裝pip
    #取得最新版pip腳本
    wget https://bootstrap.pypa.io/get-pip.py
    python3 get-pip.py
    

  1. 建立hadoop帳號(管理者身份)

    1.hadoop帳號

    sudo adduser hadoop 
    
    1. 檢查是否已經創立
    grep 'hadoop' /etc/passwd
    grep 'hadoop' /etc/group
    grep 'hadoop' /etc/shadow
    ls -l /home
    

  2. 安裝OpenJDK8(管理者身份)

    1. 更新倉庫清單
    apt update
    
    1. 安裝openjdk
    apt install openjdk-8-jdk
    
    1. 確認jdk及jre版本
    java -version
    javac -version
    

    1. 建立openjdk環境變數腳本
    nano /etc/profile.d/jdk.sh
    
    1. 編輯openjdk環境變數
    export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
    

    1. 重新載入設定檔,並檢查設定是否正確
    source /etc/profile.d/jdk.sh # . /etc/profile.d/jdk.sh
    

  3. 建立無密碼login(Hadoop身份)

    1. 切換hadoop帳號
    su - hadoop
    
    1. 打造ssh公鑰及私鑰
    ssh-keygen -t rsa 
    

    1. 將打造好的公鑰複製一份給hadoop
    ssh-copy-id hadoop@localhost
    

    1. 測試一下無密碼登入(不用輸入密碼代表成功了)
    ssh hadoop@localhost
    

  1. 建立Linux hotsts名單(管理者身份)
nano /etc/hosts


部屬教學 part 1 基礎環境建置 到此, 請至 part 2 Hadoop 安裝及配置 繼續 ….


如果覺得內容還不錯,請我喝杯咖啡吧~

Similar Posts

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。