| 編號 | 項目 | 軟件及版本 |
|---|---|---|
| 1 | 操作系統 | CentOS6 |
| 2 | 環境軟件 | VMware 12 |
| 3 | jdk環境 | jdk1.8.0_181 |
| 4 | Hadoop | Hadoop2.8.5 |
| 5 | 本機操作系統 | win10專業版 |
二、準備Linux網絡環境
1.0點擊VMware快捷方式,右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段:192.168.150.0 子網掩碼:255.255.255.0 -> apply -> ok




回到windows --> 打開網絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP:192.168.150.110 子網掩碼:255.255.255.0 -> 點擊確定




在虛擬軟件上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok


三、配置hostname
修改主機名(永久修改)
修改hosts文件




四、修改centos中的IP
通過Linux圖形界面進行修改(強烈推薦)
進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點擊add按鈕 -> 添加IP:192.168.150.110 子網掩碼:255.255.255.0 網關:192.168.150.1 -> apply


五、永久關閉防火墻
查看防火墻狀態

停止防火墻

永久關閉防火墻

六、解壓jdk

修改環境變量并且source一下



七、解壓hadoop

八、修改配置文件(5個)
第一個:hadoop-env.sh ,在/cloud/hadoop-2.8.5/etc/hadoop下面
在大約27行修改,要看行號,可以vi該文件之后,按esc,輸入冒號,再輸入set nu回車,就有行號了
export JAVA_HOME=/usr/java/jdk1.8.0_181


第二個:core-site.xml
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://itcast01:9000</value> </property> <!-- 指定hadoop運行時產生文件的存儲路徑 --> <property> <name>hadoop.tmp.dir</name> <value>/cloud/hadoop-2.8.5/tmp</value> </property> </configuration>

第三個:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>


這里結束之后在輸入,修改xml文件名字
mv mapred-site.xml.template mapred-site.xml
第四個:hdfs-site.xml
<configuration> <!-- 設置hdfs副本數量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

第五個:yarn-site.xml
<configuration> <!-- reducer取數據的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>


九、將hadoop添加到環境變量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181 export HADOOP_HOME=/cloud/hadoop-2.8.5 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile

十、格式化HDFS(namenode)第一次使用時要格式化(忘記截圖了)
hadoop namenode -format
十一、啟動hadoop
啟動start-all
在/cloud/hadoop/sbin/下
輸入./start-all.sh

然后不停的輸入密碼和yes

十二、輸入jps查看是否配置成功
紅框中的東西,一共6個,缺一不可,不然就是有東西沒配置好,根據周邊同學經驗,要么網絡沒配置好,要么上面5個配置文件沒寫好,實在找不到,最簡單粗暴麻煩但是有效的方法,從頭裝機再來吧,我是一口氣成功。

進入centos中的瀏覽器
從瀏覽器中輸入centos 的ip端口號50070看到下圖

從瀏覽器輸入centos的ip端口號8088出現下圖,成功

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。