第一次部屬 Hadoop 就上手 – Part 1 – 環境基礎建置
Hadoop 介紹及說明:
Hadoop叢集基礎架設範例
-
要準備的事項
- 選定架設機器(本範例使用 5台 , ip 30-34)
-
本範例使用 Ubuntu 18.04 ,並使用 VMware 方便克隆多台電腦
-
資源配置如下:
1台機器 for NameNode 1台機器 for ResourceManager 3台機器 for Worker 每台機器資源均為: Cpu : 4 core Ram : 8 G
部屬開始:
一、 基礎系統初始化
-
停用IPv6(管理者身份)
- 檢查一下網路跟監聽的狀態(切換管理者)
ip addr show lsof -nPi
- 修改開機設定檔
nano /etc/default/grub
- 更新開機設定檔
update-grub # update-grub2
- 重新開機
reboot
- 檢查一下IPv6是否已經停用了
ip addr show lsof -nPi
-
安裝pip(管理者身份) <– 如不使用 Jupyter 可跳過此步驟
- 安裝python開發工具箱
sudo apt update sudo apt install python3-dev
- 安裝pip
#取得最新版pip腳本 wget https://bootstrap.pypa.io/get-pip.py python3 get-pip.py
-
建立hadoop帳號(管理者身份)
1.hadoop帳號
sudo adduser hadoop
- 檢查是否已經創立
grep 'hadoop' /etc/passwd grep 'hadoop' /etc/group grep 'hadoop' /etc/shadow ls -l /home
-
安裝OpenJDK8(管理者身份)
- 更新倉庫清單
apt update
- 安裝openjdk
apt install openjdk-8-jdk
- 確認jdk及jre版本
java -version javac -version
- 建立openjdk環境變數腳本
nano /etc/profile.d/jdk.sh
- 編輯openjdk環境變數
export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
- 重新載入設定檔,並檢查設定是否正確
source /etc/profile.d/jdk.sh # . /etc/profile.d/jdk.sh
-
建立無密碼login(Hadoop身份)
- 切換hadoop帳號
su - hadoop
- 打造ssh公鑰及私鑰
ssh-keygen -t rsa
- 將打造好的公鑰複製一份給hadoop
ssh-copy-id hadoop@localhost
- 測試一下無密碼登入(不用輸入密碼代表成功了)
ssh hadoop@localhost
- 建立Linux hotsts名單(管理者身份)
nano /etc/hosts