MapReduce是一種計算模型，簡(jiǎn)單的說(shuō)就是將大批量的工作（數據）分解（MAP）執行，然后再將結果合并成最終結果（REDUCE）。這樣做的好處是可以在任務(wù)被分解后，可以通過(guò)大量機器進(jìn)行并行計算，減少整個(gè)操作的時(shí)間。但如果你要我再通俗點(diǎn)介紹，那么，說(shuō)白了，Mapreduce的原理就是一個(gè)歸并排序。
適用范圍：數據量大，但是數據種類(lèi)小可以放入內存
基本原理及要點(diǎn)：將數據交給不同的機器去處理，數據劃分，結果歸約。
想讀懂此文，讀者必須先要明確以下幾點(diǎn)，以作為閱讀后續內容的基礎知識儲備：
所以，你現在，知道了什么是MapReduce，什么是hadoop，以及這兩者之間最簡(jiǎn)單的聯(lián)系，而本文的主旨即是，一句話(huà)概括：在hadoop的框架上采取MapReduce的模式處理海量數據。下面，咱們可以依次深入學(xué)習和了解MapReduce和hadoop這兩個(gè)東西了。
前面說(shuō)了，MapReduce是一種模式，一種什么模式呢?一種云計算的核心計算模式，一種分布式運算技術(shù)，也是簡(jiǎn)化的分布式編程模式，它主要用于解決問(wèn)題的程序開(kāi)發(fā)模型，也是開(kāi)發(fā)人員拆解問(wèn)題的方法。
Ok，光說(shuō)不上圖，沒(méi)用。如下圖所示，MapReduce模式的主要思想是將自動(dòng)分割要執行的問(wèn)題（例如程序）拆解成Map（映射）和Reduce（化簡(jiǎn)）的方式，流程圖如下圖1所示：
在數據被分割后通過(guò)Map函數的程序將數據映射成不同的區塊，分配給計算機機群處理達到分布式運算的效果，在通過(guò)Reduce 函數的程序將結果匯整，從而輸出開(kāi)發(fā)者需要的結果。
MapReduce借鑒了函數式程序設計語(yǔ)言的設計思想，其軟件實(shí)現是指定一個(gè)Map函數，把鍵值對(key/value)映射成新的鍵值對(key/value)，形成一系列中間結果形式的key/value 對，然后把它們傳給Reduce(規約)函數，把具有相同中間形式key的value合并在一起。Map和Reduce函數具有一定的關(guān)聯(lián)性。函數描述如表1 所示：
MapReduce致力于解決大規模數據處理的問(wèn)題，因此在設計之初就考慮了數據的局部性原理，利用局部性原理將整個(gè)問(wèn)題分而治之。MapReduce集群由普通PC機構成，為無(wú)共享式架構。在處理之前，將數據集分布至各個(gè)節點(diǎn)。處理時(shí)，每個(gè)節點(diǎn)就近讀取本地存儲的數據處理（map），將處理后的數據進(jìn)行合并（combine）、排序（shuffle and sort）后再分發(fā)（至reduce節點(diǎn)），避免了大量數據的傳輸，提高了處理效率。無(wú)共享式架構的另一個(gè)好處是配合復制（replication）策略，集群可以具有良好的容錯性，一部分節點(diǎn)的down機對集群的正常工作不會(huì )造成影響。
ok，你可以再簡(jiǎn)單看看下副圖，整幅圖是有關(guān)hadoop的作業(yè)調優(yōu)參數及原理，圖的左邊是MapTask運行示意圖，右邊是ReduceTask運行示意圖：
如上圖所示，其中map階段，當map task開(kāi)始運算，并產(chǎn)生中間數據后并非直接而簡(jiǎn)單的寫(xiě)入磁盤(pán)，它首先利用內存buffer來(lái)對已經(jīng)產(chǎn)生的buffer進(jìn)行緩存，并在內存buffer中進(jìn)行一些預排序來(lái)優(yōu)化整個(gè)map的性能。而上圖右邊的reduce階段則經(jīng)歷了三個(gè)階段，分別Copy->Sort->reduce。我們能明顯的看出，其中的Sort是采用的歸并排序，即merge sort。
聯(lián)系客服
