碧海分布式存儲-系統(tǒng)架構(gòu)
碧海分布式存儲：數(shù)據(jù)時代的新型存儲系統(tǒng)
霄云科技傾力打造的碧海分布式存儲系統(tǒng)（BOSS：Blue Ocean Storage System，簡稱：碧海存儲）， 是面向數(shù)據(jù)時代設(shè)計的全新一代可擴展高性能存儲系統(tǒng)，具備高擴展、高可靠、高性能、極簡管理等特性，滿足數(shù)據(jù)時代行業(yè)、企業(yè)不斷變化的業(yè)務(wù)需求，助力行業(yè)、企業(yè)構(gòu)建更加彈性、強大和敏捷的IT基礎(chǔ)設(shè)施。
碧海存儲采用“無中心分布式存儲、集中式管理”的系統(tǒng)架構(gòu)，實現(xiàn)了大規(guī)模擴展與易管理性的統(tǒng)一。系統(tǒng)的軟件架構(gòu)由元數(shù)據(jù)管理服務(wù)器、數(shù)據(jù)存儲服務(wù)器、客戶端、協(xié)議網(wǎng)關(guān)等部分組成。這些軟件組件既可以分離部署在不同的存儲服務(wù)器上，也可以部署在相同存儲服務(wù)器上。
碧海分布式存儲-優(yōu)勢與特色
高可靠性
多副本與強一致性
? 碧海存儲支持多副本與強一致性，數(shù)據(jù)的不同副本保存在不同存儲節(jié)點與機架中，支持磁盤/節(jié) 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法，新修改的數(shù)據(jù)會立即寫入磁盤，從而避免由于斷電等故障 引起數(shù)據(jù)丟失。
多層次數(shù)據(jù)修復(fù)
? 在數(shù)據(jù)讀寫過程中，碧海存儲會對每個副本進行檢查，并及時修復(fù)損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查，如果發(fā)現(xiàn)磁盤損壞，則將該磁盤隔離，并啟動數(shù)據(jù)修復(fù)。
? 當磁盤損壞而進行數(shù)據(jù)重建時，該磁盤的數(shù)據(jù)會分散到存儲池中的其它磁盤，以分布式方式進行數(shù)據(jù)修復(fù)，從而顯著縮短修復(fù)時間，降低數(shù)據(jù)丟失風險。
? 碧海存儲可定期對全系統(tǒng)、指定的存儲池（pool）或卷進行一致性檢查，并進行修復(fù)。
? 碧海存儲可以根據(jù)系統(tǒng)I/O負載，自動調(diào)整修復(fù)速率，既能在系統(tǒng)工作時避免對正常業(yè)務(wù)產(chǎn)生干擾，又能在系統(tǒng)空閑時以大速率修復(fù)數(shù)據(jù)，降低數(shù)據(jù)丟失風險。
? 碧海存儲支持多副本與強一致性，數(shù)據(jù)的不同副本保存在不同存儲節(jié)點與機架中，支持磁盤/節(jié) 點/機架級容錯。
? 碧海存儲使用專用的Cache管理算法，新修改的數(shù)據(jù)會立即寫入磁盤，從而避免由于斷電等故障 引起數(shù)據(jù)丟失。
多層次數(shù)據(jù)修復(fù)
? 在數(shù)據(jù)讀寫過程中，碧海存儲會對每個副本進行檢查，并及時修復(fù)損壞的副本。
? 碧海存儲會周期性對每個磁盤進行可靠性檢查，如果發(fā)現(xiàn)磁盤損壞，則將該磁盤隔離，并啟動數(shù)據(jù)修復(fù)。
? 當磁盤損壞而進行數(shù)據(jù)重建時，該磁盤的數(shù)據(jù)會分散到存儲池中的其它磁盤，以分布式方式進行數(shù)據(jù)修復(fù)，從而顯著縮短修復(fù)時間，降低數(shù)據(jù)丟失風險。
? 碧海存儲可定期對全系統(tǒng)、指定的存儲池（pool）或卷進行一致性檢查，并進行修復(fù)。
? 碧海存儲可以根據(jù)系統(tǒng)I/O負載，自動調(diào)整修復(fù)速率，既能在系統(tǒng)工作時避免對正常業(yè)務(wù)產(chǎn)生干擾，又能在系統(tǒng)空閑時以大速率修復(fù)數(shù)據(jù)，降低數(shù)據(jù)丟失風險。
高性能
存儲系統(tǒng)的性能問題一直是海量數(shù)據(jù)、尤其是海量小文件存儲面臨的挑戰(zhàn)之一。隨著固態(tài)盤性能的快速發(fā)展和普遍使用，存儲系統(tǒng)的性能瓶頸已從早期的硬件轉(zhuǎn)移到存儲軟件本身。
碧海存儲從通信協(xié)議設(shè)計、編解碼方式、緩存管理算法、I/O調(diào)度算法、基于事件驅(qū)動的高并發(fā)編程模型、基于零拷貝的緩沖區(qū)管理等多個關(guān)鍵環(huán)節(jié)都進行了全棧優(yōu)化設(shè)計，使得碧海存儲可以挖掘存儲硬件的性能，滿足云計算數(shù)據(jù)中心數(shù)據(jù)庫、虛擬機等業(yè)務(wù)對高IOPS和低延遲的性能要求。
經(jīng)過第三方實際測試驗證，碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統(tǒng)規(guī)模為4個存儲節(jié)點，每節(jié)點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網(wǎng)卡時，碧海存儲系統(tǒng)可以達到140萬隨 機IOPS。
碧海存儲從通信協(xié)議設(shè)計、編解碼方式、緩存管理算法、I/O調(diào)度算法、基于事件驅(qū)動的高并發(fā)編程模型、基于零拷貝的緩沖區(qū)管理等多個關(guān)鍵環(huán)節(jié)都進行了全棧優(yōu)化設(shè)計，使得碧海存儲可以挖掘存儲硬件的性能，滿足云計算數(shù)據(jù)中心數(shù)據(jù)庫、虛擬機等業(yè)務(wù)對高IOPS和低延遲的性能要求。
經(jīng)過第三方實際測試驗證，碧海存儲IOPS性能可以達到開源Ceph的3~10倍。
在存儲系統(tǒng)規(guī)模為4個存儲節(jié)點，每節(jié)點配置一塊PCIE SSD存儲卡和雙端口綁定的萬兆以太網(wǎng)卡時，碧海存儲系統(tǒng)可以達到140萬隨 機IOPS。
平滑擴展
大規(guī)模擴展
碧海存儲采用無中心架構(gòu)，徹底排除傳統(tǒng)存儲中元數(shù)據(jù)服務(wù)器所帶來的可擴展性瓶頸，系統(tǒng)可輕松 擴展至上千個節(jié)點。
在碧海存儲中，可以創(chuàng)建多個存儲池（pool）。存儲池提供了數(shù)據(jù)物理隔離的能力，一份數(shù)據(jù)的所有副本，都會保存在同一個存儲池中。每個存儲池的容量可以動態(tài)擴展。
平滑擴展
碧海存儲的節(jié)點隔離和存儲池隔離機制，使得系統(tǒng)在擴容時無需暫停業(yè)務(wù)系統(tǒng)，也無需對現(xiàn)有存儲池進行備份，保障業(yè)務(wù)系統(tǒng)的連續(xù)性。
增加節(jié)點或磁盤后，系統(tǒng)自動均衡數(shù)據(jù)，確保數(shù)據(jù)重新均衡地分布，以確保數(shù)據(jù)讀寫性能隨擴容而線性增長。
碧海存儲采用無中心架構(gòu)，徹底排除傳統(tǒng)存儲中元數(shù)據(jù)服務(wù)器所帶來的可擴展性瓶頸，系統(tǒng)可輕松 擴展至上千個節(jié)點。
在碧海存儲中，可以創(chuàng)建多個存儲池（pool）。存儲池提供了數(shù)據(jù)物理隔離的能力，一份數(shù)據(jù)的所有副本，都會保存在同一個存儲池中。每個存儲池的容量可以動態(tài)擴展。
平滑擴展
碧海存儲的節(jié)點隔離和存儲池隔離機制，使得系統(tǒng)在擴容時無需暫停業(yè)務(wù)系統(tǒng)，也無需對現(xiàn)有存儲池進行備份，保障業(yè)務(wù)系統(tǒng)的連續(xù)性。
增加節(jié)點或磁盤后，系統(tǒng)自動均衡數(shù)據(jù)，確保數(shù)據(jù)重新均衡地分布，以確保數(shù)據(jù)讀寫性能隨擴容而線性增長。
統(tǒng)一存儲
碧海存儲可同時支持塊存儲、文件存儲、對象存儲，可通過規(guī)劃多個不同的存儲池，來同時支持虛擬化及云平臺、容器平臺、數(shù)據(jù)庫、云盤、郵件系統(tǒng)、電子票據(jù)、影像文件、大數(shù)據(jù)分析等多種應(yīng)用場景，并可根據(jù)業(yè)務(wù)系統(tǒng)對數(shù)據(jù)可靠性、性能的不同要求配置不同的冗余策略的QoS策略，真正實現(xiàn)了一套存儲系統(tǒng)對業(yè)務(wù)的支持。
極簡運維
精簡部署
碧海存儲可以“一鍵部署”，并通過Web配置界面操作創(chuàng)建集群、導(dǎo)入License、創(chuàng)建存儲池、添加節(jié)點和磁盤、啟動存儲池，簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統(tǒng)監(jiān)控
- 不僅可以對整個集群的全局信息進行瀏覽，還可以監(jiān)控每個存儲池、每個節(jié)點、每個磁盤的利用率和性能，實時掌握系統(tǒng)動態(tài)。
- 可以保持長達一年的歷史性能記錄，為業(yè)務(wù)負載分析、故障排錯提供強有力的支持。
? 輕松擴容，存儲新舊硬件輕松更替
- 擴容無需停機，備份數(shù)據(jù)。
- 存儲硬件新舊更替，數(shù)據(jù)自動遷移，存儲系統(tǒng)永不下線。
存儲管理，從未如此簡單！
碧海存儲可以“一鍵部署”，并通過Web配置界面操作創(chuàng)建集群、導(dǎo)入License、創(chuàng)建存儲池、添加節(jié)點和磁盤、啟動存儲池，簡單幾步即可完成存儲的上線運行。
精簡運維
? 系統(tǒng)監(jiān)控
- 不僅可以對整個集群的全局信息進行瀏覽，還可以監(jiān)控每個存儲池、每個節(jié)點、每個磁盤的利用率和性能，實時掌握系統(tǒng)動態(tài)。
- 可以保持長達一年的歷史性能記錄，為業(yè)務(wù)負載分析、故障排錯提供強有力的支持。
? 輕松擴容，存儲新舊硬件輕松更替
- 擴容無需停機，備份數(shù)據(jù)。
- 存儲硬件新舊更替，數(shù)據(jù)自動遷移，存儲系統(tǒng)永不下線。
存儲管理，從未如此簡單！
百億文件
碧海存儲采用基于NoSQL技術(shù)的分布式元數(shù)據(jù)管理架構(gòu)，目錄訪問性能優(yōu)異，并能夠支持基于標簽的文件搜索。此外，碧海存儲還針對海量小文件研發(fā)了專用的小文件合并技術(shù)，自動將多個小文件合并為聚合文件（大文件）進行存儲，有效減少存儲端的文件數(shù)量，元數(shù)據(jù)的數(shù)據(jù)量減少為原來的千分之一 。文件聚合操作對業(yè)務(wù)層透明。由此，碧海存儲可管理文件數(shù)量可達100億。
