數字經(jīng)濟時(shí)代,數據成為新的生產(chǎn)資料,數據驅動(dòng)體驗、數據驅動(dòng)決策、數據驅動(dòng)流程的各種應用正不斷上演。5G、云、AI加速行業(yè)數字化轉型,海量數據時(shí)代已經(jīng)到來(lái)。
數字經(jīng)濟時(shí)代,數據成為新的生產(chǎn)資料,數據驅動(dòng)體驗、數據驅動(dòng)決策、數據驅動(dòng)流程的各種應用正不斷上演。5G、云、AI加速行業(yè)數字化轉型,海量數據時(shí)代已經(jīng)到來(lái)。海量數據促使企業(yè)從數據管理走向數據運營(yíng),目前,正面臨三大挑戰:一是成本高、存不下;二是效率低、流不動(dòng);三是自動(dòng)化差、管不好。

Hadoop1.0時(shí)代,計算和存儲是高度融合,僅能處理單一的MapReduce分析業(yè)務(wù);Hadoop2.0時(shí)代,計算層與數據開(kāi)始解耦,通過(guò)Yarn實(shí)現了獨立的資源管理,并開(kāi)始支持Spark等更多的計算引擎;而如今來(lái)到Hadoop3.0時(shí)代,計算存儲已分開(kāi)演進(jìn),通過(guò)Hadoop EC來(lái)支持冷數據的存儲,同時(shí)引入外置存儲,如S3,增強其存儲底座能力,逐步向數據湖架構演進(jìn)。Hadoop3.0時(shí)代,計算正向輕量化和容器化方向發(fā)展,計算存儲分離演進(jìn)已成為事實(shí)。計算存儲分離后,我們用企業(yè)級的存儲基座替代原來(lái)的原生大數據存儲基座,好處是可以把當前企業(yè)級存儲的先進(jìn)技術(shù)帶入到大數據里面來(lái),如高可靠、高利用率、多協(xié)議融合等,更好地釋放數據的價(jià)值。
舉個(gè)例子來(lái)說(shuō),2018年,華為創(chuàng )新性推出基于OceanStor Pacific系列的大數據存算分離方案。在成本方面,華為大數據技術(shù)存算分離方案實(shí)現存算分離,資源按需獨立擴展,彈性EC、冷熱數據分級,存儲成本大幅降低。在數據應用效率方面,華為OceanStor Pacific系列采用全對稱(chēng)分布式NameNode,集群性能和支持文件數隨節點(diǎn)數目增加線(xiàn)性提升,單一命名空間支持文件數達百億級。在實(shí)際操作運維方面,華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗。通過(guò)ViewFS或Hbase元數據網(wǎng)關(guān)方式可實(shí)現新老共存,實(shí)現存算一體向存算分離的平滑演進(jìn),保護用戶(hù)已有投資。
聯(lián)系客服