華為云助推資源利用率最優(yōu)化

一年一度的年中電商大促——618購(gòu)物節(jié)已經(jīng)開(kāi)啟，由于2020年以來(lái)的疫情影響，導(dǎo)致近半年的國(guó)內(nèi)消費(fèi)需求被抑制，可以預(yù)見(jiàn)，此次電商購(gòu)物節(jié)將迎來(lái)一輪消費(fèi)市場(chǎng)的集中爆發(fā)，尤其在當(dāng)前全行業(yè)都在努力拉動(dòng)消費(fèi)回升、促進(jìn)經(jīng)濟(jì)恢復(fù)的時(shí)間節(jié)點(diǎn)下。

對(duì)于電商行業(yè)而言，爆發(fā)性的消費(fèi)需求無(wú)疑將產(chǎn)生巨大的流量，雖說(shuō)流量的背后意味著收益，但同時(shí)電商平臺(tái)也為此付出著巨大的IT成本。舉例來(lái)說(shuō)，平時(shí)滿足100個(gè)人的在線購(gòu)物需求，購(gòu)物節(jié)則至少要準(zhǔn)備保障1000人正常購(gòu)物的IT資源。

擴(kuò)容帶寬、CDN，增加計(jì)算資源、存儲(chǔ)資源……這一切都是附著在高流量背后的高成本。其中，傳統(tǒng)的存算一體架構(gòu)就是較高的成本來(lái)源之一，計(jì)算和存儲(chǔ)一體造成了資源的大量冗余，利用率偏低，尤其對(duì)于電商業(yè)來(lái)說(shuō)更為明顯。

領(lǐng)先的電商企業(yè)正在利用云計(jì)算優(yōu)勢(shì)，采用存算分離，使得存儲(chǔ)和計(jì)算可以靈活配置，單獨(dú)按需擴(kuò)縮容，進(jìn)而達(dá)到提升計(jì)算資源利用率、降低成本的目的。

存算分離：降本增效利器

一直以來(lái)，Hadoop架構(gòu)以及大部分商用大數(shù)據(jù)軟件均采用存算一體，即存儲(chǔ)與計(jì)算是一體融合的，那么，為什么說(shuō)“約定成俗”的存算一體帶給了電商行業(yè)尤為高企的成本?

眾所周知，電商具備流量波峰波谷的行業(yè)特點(diǎn)，在擴(kuò)容時(shí)，就必須按照波峰去進(jìn)行計(jì)算、存儲(chǔ)的一體擴(kuò)容，這顯然對(duì)于資源的平均利用率造成浪費(fèi);另外數(shù)據(jù)會(huì)持續(xù)增長(zhǎng)，但是計(jì)算能力不需要同步等比例增長(zhǎng)。而傳統(tǒng)存算一體上計(jì)算和存儲(chǔ)資源的配比相對(duì)固定，也就意味著每提升多少存儲(chǔ)容量，同時(shí)也要提升多少算力。

這種緊密綁定的模式，注定有一種資源是浪費(fèi)的。根據(jù)數(shù)據(jù)統(tǒng)計(jì)，在計(jì)算存儲(chǔ)合一的情況下，計(jì)算資源的平均利用率不到50%，本地HDFS一般采用三副本冗余機(jī)制使得存儲(chǔ)的利用率不到33%。此外，這種封閉的架構(gòu)難以向數(shù)據(jù)湖和大數(shù)據(jù)云化的方向演進(jìn)，也就無(wú)法發(fā)揮數(shù)據(jù)的最大價(jià)值。

存算分離則打破了這一瓶頸，實(shí)質(zhì)就是Hadoop計(jì)算組件部署與HDFS存儲(chǔ)池解耦部署，計(jì)算組件的擴(kuò)容和存儲(chǔ)池的擴(kuò)容無(wú)需耦合，從而極大的提升了大數(shù)據(jù)擴(kuò)容的靈活性。數(shù)據(jù)湖存儲(chǔ)采用先進(jìn)的存儲(chǔ)冗余機(jī)制，最大程度的提升了存儲(chǔ)磁盤的利用率。

降本增效，存算分離后帶來(lái)的好處十分明顯：

計(jì)算和存儲(chǔ)按需擴(kuò)展，計(jì)算不足擴(kuò)計(jì)算，存儲(chǔ)不足擴(kuò)存儲(chǔ)，可以很大程度上避免資源浪費(fèi);存算分離后，計(jì)算和存儲(chǔ)還可以分別云化，實(shí)現(xiàn)資源的動(dòng)態(tài)分配;一些專業(yè)存儲(chǔ)更是可以借助多租戶能力，以統(tǒng)一的存儲(chǔ)資源池支持多個(gè)大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)多平臺(tái)數(shù)據(jù)的高效共享。

華為云助推資源利用率最優(yōu)化

由于存算分離架構(gòu)帶來(lái)的獨(dú)特優(yōu)勢(shì)，它也正成為包括電商行業(yè)在內(nèi)的眾多行業(yè)企業(yè)建設(shè)大數(shù)據(jù)平臺(tái)的新趨勢(shì)。為此，華為云推出了基于云服務(wù)存算分離架構(gòu)的大數(shù)據(jù)解決方案，讓存儲(chǔ)和計(jì)算資源可以靈活配置，綜合分析成本最高可降低50%，目前已獲得眾多大型企業(yè)的青睞，并得到部署。

為什么華為云存算分離大數(shù)據(jù)解決方案能帶來(lái)如此大幅的成本節(jié)省，又有哪些優(yōu)勢(shì)?從兩個(gè)方面來(lái)說(shuō)明。

首先，在存儲(chǔ)層，華為云存算分離大數(shù)據(jù)解決方案以高性能、高可靠的OBS對(duì)象存儲(chǔ)服務(wù)作為統(tǒng)一的數(shù)據(jù)湖存儲(chǔ)底座。其創(chuàng)新性的提供了Data Multi-Protocol功能，支持HDFS、POSIX、S3等多種協(xié)議，實(shí)現(xiàn)用一份數(shù)據(jù)直接對(duì)接多種類型的計(jì)算引擎、AI平臺(tái)，數(shù)據(jù)0搬移0拷貝，大幅節(jié)約存儲(chǔ)空間，降低成本。同時(shí)OBS數(shù)據(jù)湖還具備EB級(jí)容量支持、單桶千億對(duì)象數(shù)據(jù)管理能力和10TB級(jí)IO帶寬能力、以及智能全局緩存加速能力，為大數(shù)據(jù)、AI訓(xùn)練等海量數(shù)據(jù)、批量計(jì)算場(chǎng)景提供高性能存儲(chǔ)保證。

其次，在計(jì)算層，華為云存算分離大數(shù)據(jù)解決方案以鯤鵬高效算力作為計(jì)算底座，具備強(qiáng)大的多核處理優(yōu)勢(shì)，結(jié)合華為云在任務(wù)調(diào)度上的算法優(yōu)化，使得CPU具有更高的并發(fā)能力，可為大數(shù)據(jù)和分布式應(yīng)用場(chǎng)景帶來(lái)20%的性能提升，實(shí)現(xiàn)相比業(yè)界通用架構(gòu)平臺(tái)更優(yōu)的性價(jià)比。基于鯤鵬處理器，華為云提供了包括裸金屬服務(wù)器、云服務(wù)器、容器和Serverless在內(nèi)的多種粒度的算力支持，應(yīng)對(duì)客戶不同的場(chǎng)景需求。同時(shí)結(jié)合前述OBS數(shù)據(jù)湖存儲(chǔ)方案，大數(shù)據(jù)平臺(tái)的計(jì)算資源也變得“無(wú)狀態(tài)”，從而帶來(lái)了更加極致的按需使用、彈性擴(kuò)縮容體驗(yàn)，進(jìn)一步降本增效。

最后，在服務(wù)層面，華為云基于上述存儲(chǔ)和計(jì)算基礎(chǔ)架構(gòu)的之上，進(jìn)行了深度整合和優(yōu)化，提供了基于存算分離架構(gòu)的一系列大數(shù)據(jù)服務(wù)，包括MRS、DLI、CSS等一眾服務(wù)都支持存算分離架構(gòu)，這些大數(shù)據(jù)服務(wù)可以提供比自建更加靈活的彈性擴(kuò)縮容、極簡(jiǎn)運(yùn)維等優(yōu)勢(shì)。

以某Top社區(qū)電商為例，原本客戶采用ES+Clickhouse+Hive分別滿足用戶行為日志詳單查詢、交互式分析、ETL等業(yè)務(wù)，多份數(shù)據(jù)產(chǎn)生“數(shù)據(jù)孤島”，而且存算一體可擴(kuò)展性差，成本居高不下。后來(lái)該社區(qū)電商采用了華為云存算分離+MRS CarbonData構(gòu)建全場(chǎng)景數(shù)據(jù)湖解決方案，一份數(shù)據(jù)同時(shí)滿足快速詳單查詢+交互式分析+ETL，PB級(jí)別數(shù)據(jù)詳單查詢秒級(jí)響應(yīng)，交互式分析30秒內(nèi)響應(yīng)，ETL加速2倍。同時(shí)由于計(jì)算存儲(chǔ)解耦，計(jì)算節(jié)點(diǎn)可隨時(shí)按需快速擴(kuò)縮容，最終整體成本下降超過(guò)50%。

從存算分離到智能數(shù)據(jù)湖，釋放數(shù)據(jù)價(jià)值

數(shù)據(jù)越來(lái)越成為企業(yè)的核心資產(chǎn)，需要強(qiáng)調(diào)的是，華為云在存算分離架構(gòu)之上形成的大數(shù)據(jù)解決方案為企業(yè)帶來(lái)的不僅是性價(jià)比的提升，更為提升企業(yè)數(shù)據(jù)價(jià)值發(fā)揮作用。

傳統(tǒng)來(lái)說(shuō)，企業(yè)在挖掘數(shù)據(jù)價(jià)值上除了面臨存算一體造成資源大量冗余的挑戰(zhàn)外，還包括缺乏一個(gè)統(tǒng)一系統(tǒng)支撐所有數(shù)據(jù)分析導(dǎo)致的數(shù)據(jù)孤島，以及隨著數(shù)據(jù)規(guī)模的越來(lái)越大導(dǎo)致的數(shù)據(jù)運(yùn)維和管理困難等挑戰(zhàn)。

為此，華為云通過(guò)整合所有數(shù)據(jù)層面的能力，打造了智能數(shù)據(jù)湖解決方案，幫助企業(yè)釋放數(shù)據(jù)價(jià)值。在統(tǒng)一數(shù)據(jù)存儲(chǔ)層，華為云利用存算分離，實(shí)現(xiàn)存儲(chǔ)和計(jì)算單獨(dú)按需擴(kuò)縮容，使資源利用率達(dá)到最大化;在多元計(jì)算層，全棧支持包括一站式大數(shù)據(jù)平臺(tái)MRS服務(wù)，批流計(jì)算+交互式分析的多模計(jì)算DLI服務(wù)，以及增強(qiáng)的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)DWS服務(wù)等;在數(shù)據(jù)運(yùn)營(yíng)層，圍繞數(shù)據(jù)處理過(guò)程提供端到端一站式數(shù)據(jù)運(yùn)營(yíng)能力，從數(shù)據(jù)集成、規(guī)范設(shè)計(jì)、開(kāi)發(fā)、質(zhì)量管理，到形成數(shù)據(jù)資產(chǎn)，以及對(duì)外開(kāi)放服務(wù)支撐業(yè)務(wù)應(yīng)用。

統(tǒng)一多數(shù)據(jù)源、消除數(shù)據(jù)孤島、統(tǒng)一數(shù)據(jù)規(guī)范、提升數(shù)據(jù)質(zhì)量，華為云智能數(shù)據(jù)湖真正幫助企業(yè)輕松實(shí)現(xiàn)“數(shù)據(jù)一盤棋”。圍繞數(shù)據(jù)全生命周期的采、存、算、管、用的全面云化，在華為云企業(yè)智能EI的助力下，最終讓數(shù)據(jù)成功創(chuàng)造價(jià)值。