一、Ubuntu14.04下安裝Hadoop2.4.0 （單機模式）

一、在Ubuntu下創(chuàng )建hadoop組和hadoop用戶(hù)

增加hadoop用戶(hù)組，同時(shí)在該組里增加hadoop用戶(hù)，后續在涉及到hadoop操作時(shí)，我們使用該用戶(hù)。

1、創(chuàng )建hadoop用戶(hù)組

2、創(chuàng )建hadoop用戶(hù)

sudo adduser -ingroup hadoop hadoop

回車(chē)后會(huì )提示輸入新的UNIX密碼，這是新建用戶(hù)hadoop的密碼，輸入回車(chē)即可。

如果不輸入密碼，回車(chē)后會(huì )重新提示輸入密碼，即密碼不能為空。

最后確認信息是否正確，如果沒(méi)問(wèn)題，輸入 Y，回車(chē)即可。

3、為hadoop用戶(hù)添加權限

輸入：sudo gedit /etc/sudoers

回車(chē)，打開(kāi)sudoers文件

給hadoop用戶(hù)賦予和root用戶(hù)同樣的權限

二、用新增加的hadoop用戶(hù)登錄Ubuntu系統

三、安裝ssh

sudo apt-get install openssh-server

安裝完成后，啟動(dòng)服務(wù)

sudo /etc/init.d/ssh start

查看服務(wù)是否正確啟動(dòng)：ps -e | grep ssh

設置免密碼登錄，生成私鑰和公鑰

ssh-keygen -t rsa -P ""

此時(shí)會(huì )在／home／hadoop/.ssh下生成兩個(gè)文件：id_rsa和id_rsa.pub，前者為私鑰，后者為公鑰。

下面我們將公鑰追加到authorized_keys中，它用戶(hù)保存所有允許以當前用戶(hù)身份登錄到ssh客戶(hù)端用戶(hù)的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

登錄ssh

ssh localhost

退出

exit

四、安裝Java環(huán)境

sudo apt-get install openjdk-7-jdk

查看安裝結果，輸入命令：java -version，結果如下表示安裝成功。

五、安裝hadoop2.4.0

1、官網(wǎng)下載http://mirror.bit.edu.cn/apache/hadoop/common/

2、安裝

解壓

sudo tar xzf hadoop-2.4.0.tar.gz

假如我們要把hadoop安裝到/usr/local下

拷貝到/usr/local/下，文件夾為hadoop

sudo mv hadoop-2.4.0 /usr/local/hadoop

賦予用戶(hù)對該文件夾的讀寫(xiě)權限

sudo chmod 774 /usr/local/hadoop

3、配置

1）配置~/.bashrc

配置該文件前需要知道Java的安裝路徑，用來(lái)設置JAVA_HOME環(huán)境變量，可以使用下面命令行查看安裝路徑

update-alternatives - -config java

執行結果如下：

完整的路徑為

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

配置.bashrc文件

sudo gedit ~/.bashrc

該命令會(huì )打開(kāi)該文件的編輯窗口，在文件末尾追加下面內容，然后保存，關(guān)閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

最終結果如下圖：

執行下面命，使添加的環(huán)境變量生效：

source ~/.bashrc

2）編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

執行下面命令，打開(kāi)該文件的編輯窗口

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量，修改此變量如下

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改后的hadoop-env.sh文件如下所示：

六、WordCount測試

單機模式安裝完成，下面通過(guò)執行hadoop自帶實(shí)例WordCount驗證是否安裝成功

/usr/local/hadoop路徑下創(chuàng )建input文件夾

mkdir input

拷貝README.txt到input

cp README.txt input

執行WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

執行結果：

執行 cat output/*，查看字符統計結果