大家都熟悉文件系統，在對HDFS進(jìn)行分析前，我們并沒(méi)有花很多的時(shí)間去介紹HDFS的背景，畢竟大家對文件系統的還是有一定的理解的，而且也有很好的文檔。在分析Hadoop的MapReduce部分前，我們還是先了解系統是如何工作的，然后再進(jìn)入我們的分析部分。下面的圖來(lái)自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.html，是我看到的講MapReduce最好的圖。
以Hadoop帶的wordcount為例子（下面是啟動(dòng)行）：
hadoop jar hadoop-0.19.0-examples.jar wordcount /usr/input /usr/output
用戶(hù)提交一個(gè)任務(wù)以后，該任務(wù)由JobTracker協(xié)調，先執行Map階段（圖中M1，M2和M3），然后執行Reduce階段（圖中R1和R2）。Map階段和Reduce階段動(dòng)作都受TaskTracker監控，并運行在獨立于TaskTracker的Java虛擬機中。
我們的輸入和輸出都是HDFS上的目錄（如上圖所示）。輸入由InputFormat接口描述，它的實(shí)現如ASCII文件，JDBC數據庫等，分別處理對于的數據源，并提供了數據的一些特征。通過(guò)InputFormat實(shí)現，可以獲取InputSplit接口的實(shí)現，這個(gè)實(shí)現用于對數據進(jìn)行劃分（圖中的splite1到splite5，就是劃分以后的結果），同時(shí)從InputFormat也可以獲取RecordReader接口的實(shí)現，并從輸入中生成<k,v>對。有了<k,v>，就可以開(kāi)始做map操作了。
map操作通過(guò)context.collect（最終通過(guò)OutputCollector. collect）將結果寫(xiě)到context中。當Mapper的輸出被收集后，它們會(huì )被Partitioner類(lèi)以指定的方式區分地寫(xiě)出到輸出文件里。我們可以為Mapper提供Combiner，在Mapper輸出它的<k,v>時(shí)，鍵值對不會(huì )被馬上寫(xiě)到輸出里，他們會(huì )被收集在list里（一個(gè)key值一個(gè)list），當寫(xiě)入一定數量的鍵值對時(shí)，這部分緩沖會(huì )被Combiner中進(jìn)行合并，然后再輸出到Partitioner中（圖中M1的黃顏色部分對應著(zhù)Combiner和Partitioner）。
Map的動(dòng)作做完以后，進(jìn)入Reduce階段。這個(gè)階段分3個(gè)步驟：混洗（Shuffle），排序（sort）和reduce。
混洗階段，Hadoop的MapReduce框架會(huì )根據Map結果中的key，將相關(guān)的結果傳輸到某一個(gè)Reducer上（多個(gè)Mapper產(chǎn)生的同一個(gè)key的中間結果分布在不同的機器上，這一步結束后，他們傳輸都到了處理這個(gè)key的Reducer的機器上）。這個(gè)步驟中的文件傳輸使用了HTTP協(xié)議。
排序和混洗是一塊進(jìn)行的，這個(gè)階段將來(lái)自不同Mapper具有相同key值的<key,value>對合并到一起。
Reduce階段，上面通過(guò)Shuffle和sort后得到的<key, (list of values)>會(huì )送到Reducer. reduce方法中處理，輸出的結果通過(guò)OutputFormat，輸出到DFS中。
聯(lián)系客服
