數據生命周期管理之存儲策略
前言
隨著通訊技術、移動互聯網、社交網絡、物聯網、云計算等技術的快速發展,現代社會已經進入大數據時代。面對來源廣泛、數據巨大、形式多樣、內容豐富的大數據,為了更加有效應對市場激烈競爭,企業開始意識到數據價值并且通過建立大數據平臺、數據中心、數據倉庫等系統,從不同角度去挖掘數據的價值。當然隨著企業業務發展以及各種平臺、系統的建立也意味著需要管理的數據量越來越龐大,資源維護成本越來越高,效率越來越低。
面對企業對數據的不同時效、不同訪問頻率、不同重要性等要求,如何判定數據是否有維護的必要性,如何降低數據維護成本,提高數據服務水平是進行數據生命周期管理主要解決的問題。
管理目標
數據生命周期管理通過制定合理的管理制度、組織架構以及對應的技術規范,協調各流程制度、技術規范的有效運行,從而提升數據服務水平與數據使用效率,從而實現降低成本、提高效率的目標。數據存儲和備份規范是保障和基礎,數據管理和維護是執行方法,通過高效的數據管理和維護效率,從而不斷提升數據服務水平。
數據生命周期管理涉及生命周期相關的管理制度以及數據存儲備份策略的規范制定,以下主要從技術的層面講述如何制定數據生命周期的數據存儲策略。
存儲策略框架
數據生命周期管理框架由數據歸類、數據特性分析與數據存儲策略三部分組成。數據存儲框架首先對數據進行歸類,在數據歸類的基礎上結合業務與系統實際情況,分析數據特性,最后根據現狀調研、數據歸類與數據特性制定數據生命周期存儲策略,從而保障數據存儲策略能夠更加符合業務、系統的實際需求,有效的發揮數據生命周期管理的價值。
數據歸類
從數據生命周期管理視角,結合業界的相關標準規范,對企業IT系統的數據進行歸類。目前根據系統的業務特點,比較流行的數據歸類包括:生產交易型數據、服務支撐型數據與系統數據三部分。
1生產交易型數據
生產交易型數據就是企業各IT支撐系統所產生、使用的數據,該類數據主要分布在業務支撐系統、管理支撐系統,如業務支撐系統、客戶關系管理系統、ERP系統、電子渠道系統等。目前生成交易型的數據主流的數據歸類為:客服域、資源域、企業管理域、營銷域、產品域等。該部分數據的歸類方式主要參考TMF(電信管理論壇)的SID(共享信息模型)分類標準,具體在制定過程中企業可以根據具體的業務以及系統特點進行實際的分類。
2服務支撐型數據
服務支撐型數據是指從各個生產系統收集的數據、經沉淀加工挖掘后形成的信息數據,該類數據主要分布在提供數據服務、數據支撐的IT平臺中,如數據倉庫、數據中心、數據集市等。該類數據按照數據倉庫數據分層的原則分為:原型數據、明細數據、匯總數據、應用數據。
3系統數據
系統數據是面向IT開發過程所產生的數據,該類數據不直接被業務所需要,但是又占用相應的存儲空間。在數據歸類過程中很容易遺漏此類數據,然而眾多系統實際情況表明,該類數據如果不有效管理將會嚴重影響系統的運行效率。系統數據主要包括:程序軟件、日志數據、過程數據和臨時數據等。
數據特性
根據數據歸類,不同類別的數據有不同的數據特性。從數據生命周期視角數據特性主要包括數據重要性、訪問頻率、訪問性能要求、數據量等。具體在進行數據特性分類過程中,企業可以根據實際情況進行特性歸類。
重要性:在業務使用過程中按照數據的重要程度進行歸類,數據分成不同的重要級別。
訪問頻率:在系統運行過程中,依據數據的訪問頻率,對數據進行歸類。通過不同的訪問頻率定義不同的存儲策略。
訪問性能要求:根據業務部門需求,對于不同數據需要提供不同的訪問性能支持。通過不同訪問性能需要定義不同存儲策略。
數據量:在系統運行過程中,數據以月/日為單位,按照數據量的大小,提供不同的存儲策略。
數據存儲策略
數據存儲策略就是將不同的數據存在制定的存儲設備上。目前主要的存儲設備主要分成在線存儲、近線存儲、歸檔存儲,三種常用存儲。
1在線存儲
在線存儲又稱工作級的存儲,存儲設備和所存儲的數據時刻保持隨時響應狀態,可以實時讀寫的,可滿足計算平臺對數據訪問的速度要求。
一般在線存儲設備通常為內置磁盤和高端磁盤陣列等磁盤設備,價格相對昂貴,性能最好。
2近線存儲
近線存儲定位于在線存儲和離線存儲之間的應用,對性能要求相對來說并不高,但又提供相對較好的讀取性能。近線存儲策略一般采用中低端磁盤陣列設備,并輔以高壓縮軟件,滿足快速讀寫等訪問動作。
3歸檔存儲
數據歸檔是將不再經常使用的數據移到一個單獨的存儲設備來進行長期保存的過程,對涉及的數據進行離線存儲,以備非常規查詢等。歸檔設備一般采用磁帶庫、光盤庫,以及大容量低端磁盤陣列,價格相對低廉。
存儲策略的制定除了滿足業務需要之外,還需要考慮存儲成本,制定合理的存儲策略。例如:生成交易型數據中客服數據,其數據特點主要是數據重要性高、訪問頻率搞、數據量較小,可以采用在線存儲;服務支撐型中的原型數據,其數據特點主要是數據重要性不高、訪問頻率不高、數據量大,可以采用近線存儲。
小結
數據生命周期管理中,數據存儲策略的制定除了理論上需要正確的指導,更重要的是在制定過程中進行大量實際業務需求、系統現狀的調研。在理論指導下結合實際情況制定出符合企業實際情況的存儲策略。
數據生命周期管理是涉及組織架構、流程制度、技術規范、系統支撐組成的管理體系,。存儲策略制定只是數據生命周期管理中技術規范部分,如何協調生命周期管理中相關組織架構、流程制度保障存儲策略有效的制定才是數據生命周期管理成功與否的關鍵。后續將會探討如何制定數據生命周期管理中相關流程制度、組織架構以及系統支撐方面的相關內容。
評論