問(wèn)題及解決方案
1.啟動(dòng)過(guò)程中出現問(wèn)題： JAVA_HOME IS NOT SET.
解決方法是修改etc/hadoop/hadoop-env.sh文件，添加如下內容
export JAVA_HOME=/usr/lib/jdk/jdk1.7.0_51
2.HADOOP_CONF_DIR 未配置，出現錯誤：Error: Cannot find configuration directory: 在/etc/profile中添加：
export HADOOP_HOME=/root/jhh/hadoop/hadoop-0.23.9
export YARN_HOME=/root/jhh/hadoop/hadoop-0.23.9
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
3.訪(fǎng)問(wèn)log文件，permisson denied。 chmod修改log文件夾權限。
總結：
今天剛配置了一遍，只是單機版的偽分布式環(huán)境，之后在測試機上搭一遍。
剛開(kāi)始學(xué)習hadoop，安裝配置過(guò)程也走了一些彎路，希望多多討論，互相學(xué)習。
問(wèn)題導讀：1.如何判斷格式化成功？2.hadoop2.4啟動(dòng)方式是否發(fā)生變化？3.hadoop2.4在配置方面是否有變化？包下載：hadoop2.4最新版本各種包下載在折騰了一天多才弄好環(huán)境的煩躁下，中間遇到各種問(wèn)題，網(wǎng)上搜索還沒(méi)有結果，最終經(jīng)過(guò)很多折騰終于搞定，我覺(jué)得我有必要自己寫(xiě)一篇關(guān)于hadoop的安裝了。-------------------------------------------------------------------------------------------------------------------本人的準備工作，官網(wǎng)最新的java7u25（至少是java7，具體版本不記得了，是apt安裝的openjdk-java），hadoop也是最新的2.4.0。采用偽分布式模式，即hadoop將所有進(jìn)程運行于同一臺主機上，但此時(shí)Hadoop將使用分布式文件系統，而且各jobs也是由JobTracker服務(wù)管理的獨立進(jìn)程。同時(shí)，由于偽分布式的Hadoop集群只有一個(gè)節點(diǎn)，因此HDFS的塊復制將限制為單個(gè)副本，其secondary-master和slave也都將運行于本地主機。此種模式除了并非真正意義的分布式之外，其程序執行邏輯完全類(lèi)似于完全分布式，因此，常用于開(kāi)發(fā)人員測試程序執行。1，準備工作切換為root用戶(hù) apt安裝jdk，ssh 可以參考hadoop2完全分布式最新高可靠安裝文檔官網(wǎng)下載hadoop2.4.0，解壓到/home/wbq/hadoop2.4.0可以下載：hadoop2.4最新版本各種包下載2，對于hadoop的配置 #vi etc/profile
注意，這里說(shuō)的etc不是hadoop文件夾下的那個(gè)，是用戶(hù)根目錄下的。在末尾添加：
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
export HADOOP_PREFIX=/home/wbq/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
進(jìn)入hadoop2.4.0文件夾，配置etc/hadoop中的文件。
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
另外可選的添加上：
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
core-site.xml，做如下配置：
fs.default.name
hdfs://localhost:9000
dfs.namenode.name.dir
file:/home/wbq/hadoop-2.4.0/dfs/name
dfs.datanode.data.dir
file:/home/wbq/hadoop-2.4.0/dfs/data
hdfs-site.xml，做如下配置（系統默認文件保存3份，因偽分布模式，故改為1份）：
dfs.replication
1
dfs.namenode.name.dir
/home/wbq/hadoop-2.4.0/dfs/name
dfs.datanode.data.dir
/home/wbq/hadoop-2.4.0/dfs/data
mapred-site.xml,做如下配置：
mapreduce.jobtracker.address
localhost:9001
這里2.4.0中沒(méi)有這個(gè)文件，可以新建一個(gè)，或者直接修改mapred-site.xml.template
mapreduce.framework.name
yarn
yarn-site.xml，如下配置：mapreduce.framework.nameyarnyarn.nodemanager.aux-servicesmapreduce_shuffle3，ssh免密碼登陸設置ssh-keygen -t rsa -P ""然后一直回車(chē)即可cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys注意我這里用的root目錄，不是傻逼呵呵的自己的用戶(hù)名下的目錄。試一下ssh localhost要是能免密碼登陸顯示系統信息，就應該是對的。（這里有個(gè)輸入密碼環(huán)節，是系統的密碼）可以參考：linux（ubuntu）無(wú)密碼相互登錄高可靠文檔4，開(kāi)始配置第一步：到hadoop2.4.0目錄下./bin/hadoop namenode –format格式化結點(diǎn)信息最后一句出現shutting down什么玩意，中間沒(méi)有warn或者fatal error應該就對了。第二步：然后，開(kāi)始sbin/start-all.sh.新版本的hadoop其實(shí)不建議這么直接start-all，建議一步步來(lái)，神馬start-dfs，然后在start-map，之類(lèi)的，我覺(jué)得麻煩，就沒(méi)試。若是這里出現神馬正在running，那么先執行一步stop-all.sh操作，在start-all。還可能出現的是java神馬class不行，沒(méi)找到，或者讓你每步都加載，這是javahome設置的問(wèn)題，請仔細檢查上面關(guān)于javahome的設置，是不是輸錯了。還有可能出現permission denied權限不夠，那就是你設置ssh登陸的問(wèn)題我覺(jué)得可能是因為，上面我說(shuō)的那種情況，你是在cat的時(shí)候，把密鑰加載到了wbq的目錄下，而不是root目錄下，而wbq（用戶(hù)名）又恰恰比起root來(lái)說(shuō)權限不足，所以上面我說(shuō)要從一開(kāi)始就切換到root下執行過(guò)程。這里要是出現好幾個(gè)staring這個(gè)那個(gè)的，而且沒(méi)有報錯，估計就是對了。測試一下?tīng)顟B(tài)吧，檢查一下進(jìn)程是否啟動(dòng)jps命令：出現大概是：21567 SecondaryNameNode21384 DataNode21921 NodeManager22167 Jps21720 ResourceManager21237 NameNode然后再測試一下hadoop狀態(tài)，./bin/hadoop dfsadmin -report，出現大概是：DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.14/05/02 10:50:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableConfigured Capacity: 31407177728 (29.25 GB)Present Capacity: 23889055744 (22.25 GB)DFS Remaining: 23889027072 (22.25 GB)DFS Used: 28672 (28 KB)DFS Used%: 0.00%Under replicated blocks: 0Blocks with corrupt replicas: 0Missing blocks: 0balabala&……………………（省略）Cache Used: 0 (0 B) Cache Remaining: 0 (0 B) Cache Used%: 100.00% Cache Remaining%: 0.00% Last contact: Fri May 02 10:50:35 CST 2014這就應該是對的了。高興的時(shí)候到了！瀏覽器下http://localhost:50070 這是hdfs的頁(yè)面
本站僅提供存儲服務(wù)，所有內容均由用戶(hù)發(fā)布，如發(fā)現有害或侵權內容，請
點(diǎn)擊舉報。
