金融影像、雙錄、非常構化文件數據湖存儲方案
需求分析
金融行業正經歷高速發展階段，隨之而來的是銀行、保險、消費金融等業務系統中各類信息的急劇增加，包括客戶資料、財務報表、業務活動中產生的電子文檔（如文檔、PDF、網頁、圖片、視頻）、部門間通訊文件（通知、計劃、公告、公文、報表）及歸檔文件（制度、檔案、合同、資料等）。這些文檔數量呈幾何級增長，對分類、保存、歸檔及高效查詢、法規遵從提出了較高的要求。傳統使用NAS存儲數據。由于大數據、AI、自動化等新型技術，因此業務日志、應用日志、系統日志、服務跟蹤等數據也同樣需要保存，出現海量小文件的趨勢。
文件數量十億到幾百億級規模；
因數據再挖掘價值保存時間長、數據有生命周期特征；
平均數據大小不一，寫入多，讀取為批量或精準查詢；
需要滿足災備機制；
需要多協議支撐滿足不同業務的訪問；
防篡改和數據流動、備份、保護等功能特性；
可靠性、穩定性和宜運維性。
解決方案
霄云碧海存儲系統是一款自主研發的分布式存儲軟件，它兼容X86和信創軟硬件，能夠高效處理百億級別的海量小文件且不降低性能。軟件安裝運維簡便，提供塊、CIFS、FTP、NFS、HDFS、S3、CSI等多種標準協議，并支持非結構化數據的多協議互訪。該系統已在大型三甲醫院的影像平臺上穩定運行長達五年，具備副本和EC冗余功能，以及確保業務穩定性的自動故障恢復機制，同時支持雙站點災備復制。
百億級文件性能不衰減；
支持S3、FTP、CIFS、NFS、NAS、HDFS協議，且所有協議實現互訪；
滿足雙中心互為災備和法規遵從；
具有高擴展性、高性能、高可用性、運維簡單、成本更優特點。
