摘要

計算機技術經歷了并行計算、集群/分布式計算、網格計算等發展，現在已步入云計算時代。20世紀80年代，升陽（Sun Microsystems）提出了“網絡式電腦”NC概念，21世紀初，Amazon通過打包、自助服務等業務出租其IT設備，并取得了空前的成功。隨著云計算案例的成功，其影響力也正在逐步展開。本文闡述了從興技術云計算在電信級系統海量日志管理的設計方案，望拋磚引玉。

正文

隨著通信技術的不斷發展，用戶對新業務的需求以及對服務質量的要求也不斷提升。通訊運營商需要適應新形式的要求，必須做出相應的調整。如以前的離線計費升級為在線實時計費；又或者升級新的通訊設備，等等。由此帶來了一項新的挑戰，即新環境產生大量的以前不曾有過的日志，并帶來相關的問題，如：日志文件分散存放，數量多，可直接查閱日志文件保存周期短，極不便于運維；日志格式不一致，可閱讀性過低；查詢費時或超時，效率低下；相關日志的關聯性低，無法清晰定位；大量的日志無法統計，無法準確的分析業務；

由于相關法規、政策或商業上的要求，運營商無法回避以上問題，必須保留、查詢、分析處理這些大數據?；陉P系型的傳統數據庫無法滿足新形式下的要求，從興技術憑借自身在通訊行業的經驗與優勢，依托云計算技術，建設了一個高效的通用云計算平臺，將日志管理系統作為云平臺的一個業務系統建設。這樣設計的最大優勢是業務系統作為上層應用，具備良好的擴展性和可堆疊性，滿足信息的交換和處理，避免信息系統煙囪式的發展。

從興SKCP（Smart Keen Cloud Platform）基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能；以Flume為基礎的SK-Pipe系統具備了高效的實時采集功能；配合SK-DETL分布式的ETL的任務設計、調度等功能，可實現日志數據的高效ETL.強大的企業管理器（SK-Admin）能對平臺、節點、任務進行監控和管理等。

基于SKCP的日志管理系統的主要功能架構如下：

采集子系統提供了批量采集和實時采集功能。批量采集將系統各模塊日志文件按目錄采集到相應的目錄中，以便入庫。實時采集將系統模塊正在產生日志文件實時傳輸到日志云平臺。日志采集支持對采集文件進行壓縮，減輕網絡傳輸壓力。支持對海量的小批量采集文件進行合并處理，以提高入庫效率

日志云平臺提供了程序發布和運行管理、系統資源監控；并提供日志云平臺定時任務，如數據清理或數據遷移等。日志云平臺支持聯機在線下的新節點加入或退出。

日志分析模塊采用XML文件配置方式，支持文件名稱的匹配和字段解析匹配，具備靈活的自定義功能。

日志入庫模塊提供基礎調度功能，按照業務的要求將數據加載到云平臺中，支持霍夫曼壓縮算法，支持多節點的分布式入庫。

頁面查詢展示根據請求查詢云平臺得到相應的數據，并返回去前臺展現。支持均衡負載，減少單個節點上的負擔。

系統部署邏輯圖：

系統完成部署并成功試商用。系統負載量為：業務系統每天日志總量約為2.8 T，按1：6的壓縮比來計算，壓縮后每天的日志量約500G左右；單節點入庫速度平均10M+每秒；平均壓縮比為2.5：1，數據冗余系數2；數據平均存儲周期1+1個月，目前設計存儲容量為40T，不使用磁盤陣列集中存儲。

從實際運行情況考慮，基于從興技術云平臺的日志管理系統，采用成熟的技術，更低的成本、更高的業務效率，提供了完整的海量日志解決方案。