好用省心的行業(yè)云存儲架構(gòu),從何而來?
隨著云時(shí)代的到來,公有云、政務(wù)云、行業(yè)云、企業(yè)云等各類云設(shè)施正在如火如荼地建設(shè)和投運(yùn)中。對于阿里云、騰訊云、UCloud這些公有云服務(wù)商來說,其強(qiáng)大的技術(shù)團(tuán)隊(duì)可以支撐公有云的建設(shè)和運(yùn)維,但對于行業(yè)云、企業(yè)云的業(yè)主來說,信息科技部門需要將有限的技術(shù)人員投入到業(yè)務(wù)系統(tǒng)的建設(shè)和運(yùn)維中,因而需要云的基礎(chǔ)架構(gòu)方案成熟、可靠、省心且易于運(yùn)維。由此可見,輕運(yùn)維的云基礎(chǔ)架構(gòu)是行業(yè)云、企業(yè)云管理者的普遍訴求。
行業(yè)云、企業(yè)云建設(shè)和運(yùn)維帶給存儲系統(tǒng)的問題
行業(yè)云和規(guī)模較大的企業(yè)云基本上都采用了分布式存儲架構(gòu)。分布式存儲的橫向擴(kuò)展能力、軟件定義存儲能力都天然適用于云平臺。然而,面對市場上眾多的分布式存儲產(chǎn)品,如何選擇適合行業(yè)云、企業(yè)云所需的高性能、多用途、輕運(yùn)維、且優(yōu)化TCO成本的解決方案,成了管理者們面臨的難題。
開源分布式存儲難用于生產(chǎn)
近年來,Ceph、GlusterFS、Sheepdog和MinIO等開源分布式存儲流行,有多家主流廠商和新銳廠商將其商業(yè)化,許多行業(yè)云和企業(yè)云的業(yè)主考慮采用開源系統(tǒng)。開源分布式存儲雖看上去是拿來即用的捷徑,但仍存在著以下一些問題:
1) 有的開源分布式存儲極其龐大和復(fù)雜,上百萬行代碼,數(shù)百項(xiàng)配置參數(shù),僅靠業(yè)主自身的技術(shù)力量難以部署和運(yùn)維;
2) 像金融、醫(yī)療和制造等對業(yè)務(wù)連續(xù)性要求較高的行業(yè),生產(chǎn)環(huán)境采用開源系統(tǒng)帶來的潛在風(fēng)險(xiǎn)難以估量;
3) 有的開源分布式存儲功能單一,僅面向塊存儲、文件存儲或?qū)ο蟠鎯Γy以同時(shí)滿足多種業(yè)務(wù)數(shù)據(jù)的存儲需求。
國內(nèi)外商業(yè)分布式存儲用途相對單一
目前國內(nèi)外也有一些主流的分布式存儲產(chǎn)品,如vmware vSAN、EMC isilon。但這類產(chǎn)品的用途相對單一。例如vSAN與EXSI深度集成,主要還是用于vmware的虛擬化和云平臺。
面對林林總總的各種分布式存儲產(chǎn)品,行業(yè)云、企業(yè)云的業(yè)主們的真實(shí)需求是什么呢?
1. 功能成熟、系統(tǒng)可靠、數(shù)據(jù)安全充分保障
在數(shù)據(jù)資產(chǎn)化的今天,數(shù)據(jù)的價(jià)值日益凸顯。對數(shù)據(jù)提供高可靠性保障,是業(yè)主對存儲系統(tǒng)第一位的、也是嚴(yán)格的要求。
2. 能夠快速規(guī)模化部署,監(jiān)控報(bào)警及時(shí),運(yùn)維省心
尤其在存儲擴(kuò)容和新舊設(shè)備更替時(shí),在線完成,并且要盡量避免數(shù)據(jù)的遷移。數(shù)十乃至數(shù)百TB數(shù)據(jù)的遷移,即便只考慮時(shí)間(為了避免對業(yè)務(wù)造成影響,通常都是在非業(yè)務(wù)時(shí)間進(jìn)行遷移)也是一項(xiàng)耗時(shí)的工作。
3. 能夠?yàn)槎喾N業(yè)務(wù)提供數(shù)據(jù)存儲服務(wù)
許多行業(yè)云和企業(yè)云根據(jù)業(yè)務(wù)需要,不僅僅需要云計(jì)算的平臺,還需要為數(shù)據(jù)庫、容器平臺提供塊存儲、為郵件系統(tǒng)提供文件存儲、為內(nèi)容管理和共享平臺提供對象存儲、為大數(shù)據(jù)分析提HDFS存儲等多種存儲服務(wù)。一套存儲為業(yè)務(wù)應(yīng)用提供全方位的數(shù)據(jù)存儲服務(wù)成為存儲架構(gòu)規(guī)劃時(shí)的一個(gè)重要考量。
4. 能為重要業(yè)務(wù)系統(tǒng)提供高性能的數(shù)據(jù)讀寫
云平臺上運(yùn)行各類應(yīng)用,其中的數(shù)據(jù)庫和核心業(yè)務(wù)應(yīng)用,對數(shù)據(jù)IO的有著遠(yuǎn)高于其它應(yīng)用的性能要求,尤其在重負(fù)載時(shí),要求存儲系統(tǒng)依然能提供穩(wěn)定的高性能數(shù)據(jù)IO。
碧海分布式存儲,為云而生
相對于開源分布式存儲、國外商業(yè)分布式存儲,碧海分布式存儲除了具備大規(guī)模在線擴(kuò)展、系統(tǒng)高可用、數(shù)據(jù)高可靠的標(biāo)配外,在敏捷化部署、高性能、輕運(yùn)維方面也有自己獨(dú)特的優(yōu)勢。
敏捷化部署
“一鍵安裝”、“最小配置參數(shù)”、“六步部署法”,碧海分布式存儲從用戶使用角度考慮的極簡設(shè)計(jì),為大規(guī)模部署的敏捷化提供了可能。在做好規(guī)劃的前提下,一個(gè)20節(jié)點(diǎn)的分布式存儲集群,也可在一天內(nèi)完成部署、測試、上線的一系列過程。
此外,碧海分布式存儲還為云平臺部署提供便捷的iSCSI ALUA多路徑自動規(guī)劃功能,可以在部署階段自動為每個(gè)計(jì)算節(jié)點(diǎn)配置2~3條iSCSI冗余路徑,排除了手工配置多路徑的繁瑣和遺漏問題。
碧海分布式存儲可以和市場主流的云管平臺vmware、Openstack、Zstack等無縫對接。由于碧海存儲對CPU和內(nèi)存資源消耗很少,因此可支持與計(jì)算節(jié)點(diǎn)的超融合部署。
高性能
碧海分布式存儲的高性能不僅體現(xiàn)在單節(jié)點(diǎn)的高IOPS、高數(shù)據(jù)吞吐和低延時(shí)上。在云平臺負(fù)載較高時(shí),碧海存儲仍能提供穩(wěn)定的高吞吐率,而不會產(chǎn)生明顯的波動,這對數(shù)據(jù)庫等核心應(yīng)用來說尤為重要。源源不斷的高性能數(shù)據(jù)吞吐,為云平臺上各類核心應(yīng)用的流暢運(yùn)行、用戶的良好體驗(yàn)提供了有力支撐。
輕運(yùn)維
碧海分布式存儲的輕運(yùn)維優(yōu)勢體現(xiàn)在:
1) 經(jīng)過在多個(gè)生產(chǎn)環(huán)境長達(dá)2~3年的連續(xù)無故障運(yùn)行,碧海分布式存儲的可靠性得到了充分驗(yàn)證;
2) 碧海分布式存儲提供了對集群、節(jié)點(diǎn)、磁盤、數(shù)據(jù)讀寫和數(shù)據(jù)修復(fù)的實(shí)時(shí)監(jiān)控功能,監(jiān)控界面簡潔明了,一目了然,并可通過郵件、短信、微信多種方式向運(yùn)維人員告警;
3) 存儲系統(tǒng)的擴(kuò)容、新舊硬件更替都只需要用戶進(jìn)行簡單的操作,數(shù)據(jù)分布的再均衡,副本數(shù)據(jù)的修復(fù)完全由系統(tǒng)自動完成。
統(tǒng)一存儲
一套碧海分布式存儲,通過配置不同的存儲池,可同時(shí)為虛擬化和云平臺、容器平臺、數(shù)據(jù)庫、郵件系統(tǒng)、云盤和大數(shù)據(jù)分析等多種業(yè)務(wù)數(shù)據(jù)提供存儲服務(wù),用戶不必再為不同類型的數(shù)據(jù)采購不同的存儲,存儲的架構(gòu)因而得到大幅簡化。
客戶案例
上海市教育委員會信息中心承擔(dān)著面向全市大中專、中小學(xué)的信息服務(wù)。2017年,信息中心建設(shè)了教育云平臺,為為全市各大中專、中小學(xué)院校提供各類教務(wù)系統(tǒng)、考試在線報(bào)名系統(tǒng)、升學(xué)系統(tǒng)、校園網(wǎng)站、大數(shù)據(jù)分析平臺等。云平臺采用vmware虛擬化和vCenter云管平臺。
在信息中心的大力支持下,云平臺的底層存儲采用了碧海分布式存儲。云平臺的規(guī)劃包括:
? 10臺刀片服務(wù)器,共80個(gè)刀片,即80個(gè)計(jì)算節(jié)點(diǎn),其上運(yùn)行vmware ESXi和vmware虛機(jī)。
? 20臺存儲節(jié)點(diǎn),物理總?cè)萘窟_(dá)到640TB。
? 通過iSCSI方式輸出給前端業(yè)務(wù)虛擬機(jī),但需要提供冗余的iSCSI路徑,避免單條iSCSI路徑故障導(dǎo)致虛擬機(jī)故障,影像業(yè)務(wù)系統(tǒng)運(yùn)行。
系統(tǒng)實(shí)施的挑戰(zhàn)在于實(shí)現(xiàn)iSCSI多路徑的自動規(guī)劃。80個(gè)刀片需要訪問存儲上劃出的5個(gè)邏輯卷,每個(gè)刀片到每個(gè)邏輯卷需要配置3條iSCSI路徑,總共需要配置的多路徑數(shù)量達(dá)到:
80刀片 * 5個(gè)邏輯卷 * 3條路徑=1200條iSCSI路徑
依靠手工配置1200條iSCSI路徑,不僅操作極為繁瑣,也難以保障各存儲節(jié)點(diǎn)的負(fù)載均衡。上線后如遇某iSCSI路徑故障,手工調(diào)整冗余iSCSI路徑更是難以完成的工作。
碧海分布式存儲通過iSCSI ALUA,實(shí)現(xiàn)多路徑規(guī)劃的完全自動化。系統(tǒng)初始化階段,不僅一條命令即可實(shí)現(xiàn)所有計(jì)算節(jié)點(diǎn)和邏輯卷之間3條iSCSI路徑的自動均衡配置,更能在某條iSCSI路徑出現(xiàn)故障后,系統(tǒng)自動補(bǔ)充一條冗余的iSCSI路徑。多路徑自動規(guī)劃,大幅降低了大規(guī)模部署和運(yùn)維分布式存儲的復(fù)雜度。
教委信息中心云平臺自2017年上線后,從最初小規(guī)模試用,逐步擴(kuò)展到600多個(gè)虛機(jī),30多套業(yè)務(wù)系統(tǒng)。上線以后出現(xiàn)過增加計(jì)算節(jié)點(diǎn)、存儲節(jié)點(diǎn)因硬件故障下線、存儲節(jié)點(diǎn)磁盤更換等運(yùn)維事件,業(yè)務(wù)系統(tǒng)的運(yùn)行絲毫未受影響。更換硬件后的存儲節(jié)點(diǎn)也通過碧海存儲的自適應(yīng)修復(fù)技術(shù)快速完成數(shù)據(jù)修復(fù)。此外,由于多個(gè)卷的并發(fā)讀寫性能提升了數(shù)倍,曾經(jīng)需要數(shù)十小時(shí)才能完成的大數(shù)據(jù)分析過程,現(xiàn)在則大幅縮短到只要幾小時(shí)。
對于行業(yè)云、企業(yè)云,信息科技部門需要聚焦業(yè)務(wù)系統(tǒng)的建設(shè)和運(yùn)維,云平臺的基礎(chǔ)架構(gòu)因而更需要成熟、可靠、省心的輕運(yùn)維解決方案。碧海分布式存儲,滿足了這樣的需求,為客戶帶來了持續(xù)的效率收益。