第一次部屬 Hadoop 就上手 – Part 1 – 環境基礎建置

Hadoop 介紹及說明：

請參閱大數據你必須要知道-Hadoop跳舞的大象

Hadoop叢集基礎架設範例

0. 要準備的事項

   1. 選定架設機器（本範例使用 5台 ， ip 30-34)

   

   2. 本範例使用 Ubuntu 18.04 ，並使用 VMware 方便克隆多台電腦

   3. 資源配置如下：

   1台機器 for NameNode
   1台機器 for ResourceManager
   3台機器 for Worker
   
   每台機器資源均為：  
   Cpu : 4 core
   Ram : 8 G
   

部屬開始：

一、 基礎系統初始化

1. 停用IPv6(管理者身份)

   1. 檢查一下網路跟監聽的狀態(切換管理者)

   ip addr show
   lsof -nPi
   

   

   2. 修改開機設定檔

   nano /etc/default/grub
   

   

   3. 更新開機設定檔

   update-grub # update-grub2 
   

   

   4. 重新開機

   reboot
   

   5. 檢查一下IPv6是否已經停用了

   ip addr show
   lsof -nPi
   

2. 安裝pip(管理者身份) <– 如不使用 Jupyter 可跳過此步驟

   1. 安裝python開發工具箱

   sudo apt update
   sudo apt install python3-dev
   

   2. 安裝pip

   #取得最新版pip腳本
   wget https://bootstrap.pypa.io/get-pip.py
   python3 get-pip.py
   

3. 建立hadoop帳號(管理者身份)

   1.hadoop帳號

   sudo adduser hadoop 
   

   2. 檢查是否已經創立

   grep 'hadoop' /etc/passwd
   grep 'hadoop' /etc/group
   grep 'hadoop' /etc/shadow
   ls -l /home
   

   

4. 安裝OpenJDK8(管理者身份)

   1. 更新倉庫清單

   apt update
   

   2. 安裝openjdk

   apt install openjdk-8-jdk
   

   3. 確認jdk及jre版本

   java -version
   javac -version
   

   

   4. 建立openjdk環境變數腳本

   nano /etc/profile.d/jdk.sh
   

   5. 編輯openjdk環境變數

   export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
   

   

   6. 重新載入設定檔，並檢查設定是否正確

   source /etc/profile.d/jdk.sh # . /etc/profile.d/jdk.sh
   

   

5. 建立無密碼login(Hadoop身份)

   1. 切換hadoop帳號

   su - hadoop
   

   3. 打造ssh公鑰及私鑰

   ssh-keygen -t rsa 
   

   

   

   4. 將打造好的公鑰複製一份給hadoop

   ssh-copy-id hadoop@localhost
   

   

   5. 測試一下無密碼登入(不用輸入密碼代表成功了)

   ssh hadoop@localhost
   

6. 建立Linux hotsts名單(管理者身份)

nano /etc/hosts

部屬教學 part 1 基礎環境建置 到此， 請至 part 2 Hadoop 安裝及配置 繼續 ….

如果覺得內容還不錯，請我喝杯咖啡吧～