隨著互聯網、云計算等新興技術被廣泛使用，數據呈爆炸式增長，存放于二級存儲中的非生產數據逐年累積占比高達80%，且涉及大量隱私信息，從數據使用與安全管理上暴露出存儲資源浪費、硬件成本上升、數據交付效率低下的問題，直接威脅著各市場主體在數據使用方面的安全性。
同時，實際的數據使用場景中企業數據需經過上中下游的流轉，各個環節都面臨著不同的管理難度和安全威脅，其中上游數據來源于生產環境，主要面臨著數據丟失與數據安全問題，為此企業需要建立完備的數據備份方案，保障業務持續；中游數據處在中間環節需要進行脫敏，保障提供到下游的數據安全可靠，嚴防隱私數據泄露；下游環節則亟需一種快速分發與流轉的方式交付測試數據，提高開發測試等輔助業務場景的處理效率。整個數據使用的管理應具備集中的流程、統一的管理，而不是多個方案的拼湊缺乏一致性。與此同時，為貫徹落實數據安全法規，幫助企業實現對數據安全與效率的雙重管控，本期發布牛品推薦——上訊信息：敏捷數據管理平臺ADM產品。
標簽
數據存儲、虛擬庫獨立操作、分鐘級交付、數據可視化、數據分類分級、數據仿真脫敏
用戶痛點
當前企業信息化建設的重點是推進產業數字化轉型，面對企業信息化建設體系中最為重要的數據資產，不僅要保證生產數據得到可靠的保護，也要保證非生產數據得到有效的管控。企業為了滿足開發測試、容災、備份、數據分析等次級工作負載的需求，往往需要復制多份數據副本。冗余的數據副本雖然滿足了企業對數據全方位管理的需求，但是其在經濟性、效率和安全性等方面也遇到了一些問題：
第一，需要投入更多不必要的存儲開支，以滿足數據冗余副本的存儲需求，因此產生了大量的數據孤島，影響數據的回收；
第二，數據準備時間周期長，傳統方式依靠人工拷貝需要3人以上、耗費數天甚至月余時間準備數據；
第三，數據安全存在風險，生產數據往往包含了用戶的敏感信息，如身份證號碼、聯系方式、地址等，這些數據一旦泄露，將給組織和用戶帶來負面影響。
因此，企業用戶需要一套針對數據的采集、傳輸、存儲、使用、流轉等各個關鍵環節進行管理的整體方案，其中數據采集可結合傳統的數據庫備份技術，但針對已有備份數據的恢復尚缺乏工具支持；針對副本數據缺乏快速、節約存儲的交付方式；針對數據脫敏的解決方案缺乏與數據交付相結合的快速分發功能。
解決方案
敏捷數據管理平臺（Agile Data Management）簡稱ADM，是國內副本數據管理（CDM）領域的首創產品，重點攻克數據庫虛擬化等核心技術，主要針對企業上中下游數據提供高效使用與安全管控的綜合數據治理解決方案。在保證數據使用安全的同時，提高了數據使用效率并降低了數據存儲成本。ADM由生產數據管理、備份數據管理、測試數據管理以及敏感數據管理四大功能組成，實現了數據推送管理、數據分組管理和數據審計管理等輔助功能，通過自動化的方式達到了數據使用的成本控制、靈活管理與高效應用的目標。
生產數據管理繼承傳統數據庫實時持續備份的技術，實現本機、異機快速恢復，突破首次全量，后續持續增量合成的備份方式，達到分鐘級的恢復時間、秒級的恢復粒度，實現數據庫的應用級保護與備份數據有效性的自動校驗，對于上游生產數據的獲取提供了快捷的方式。
備份數據管理是一種通過對接企業用戶現有備份系統如NBU/CommVault等，獲取已有備份數據進行快速恢復、利用恢復數據交付下游非生產數據的功能。該功能主要是通過集中管理存儲資源、恢復服務器資源和恢復任務，保證存儲空間、恢復服務器和恢復任務的自動調度，從而實現備份數據有效性驗證的全自動化，并且根據驗證結果生成詳細的恢復驗證報告。ADM自動恢復備份數據可充分盤活備份數據，實現對備份數據的二次利用，降低生產數據獲取對核心業務造成的影響，同時內置數據壓縮存儲池壓縮比高達4:1，大大節約了獲取數據存儲的后續成本。
敏感數據管理是該產品在中游進行數據處理的關鍵功能，提供敏感數據的自動識別與仿真脫敏，針對敏感數據識別提供通用數據特征庫、全庫與子集自動掃描，數據內容、字段類型、約束關系均可以實現自動識別，并依據類型特征加以分類分級；內置豐富脫敏算法對敏感數據進行隨機化、模糊化、高仿真度替換，保證脫敏后數據的完整性、仿真性以及數據間邏輯性。
測試數據管理是該產品針對數據使用流轉和交付環節的核心功能，上訊通過自研的專利技術——數據庫虛擬化，體現了副本數據管理（CDM）的技術先進性，將生產數據管理與備份數據管理以及數據按需上傳等多途徑獲取的原始黃金數據庫副本，經過虛擬化技術的轉換，創建成多份虛擬數據庫。虛擬數據庫的特點在于對來源于原始黃金副本90%的相同數據不占用存儲空間，僅對新增寫操作計入存儲占用，即對存儲資源的虛擬占用；而對多個同時在線的虛擬數據庫操作獨立，互不干擾；同時虛擬數據庫創建速度非常快，TB量級的數據庫幾分鐘完成交付。借助ADM集中的數據使用流程，通過跟蹤數據流向，識別虛擬數據庫使用狀態，實時拍攝快照，實現數據版本的保留，進而快速回退或切換版本，以此實現對測試數據版本的靈活管理。
通過ADM產品的部署應用解決了企業在IT建設方面對數據上中下游的集中管控問題，上游既可以防護數據丟失和保障業務持續，也可以為下游提供原始數據，通過ADM一體化平臺減少了操作復雜性和步驟繁瑣度；備份數據管理提供了一種對現有備份數據的二次利用的手段，徹底盤活了這部分“暗數據”，通過自動化流程擺脫了大量人力、設備以及存儲資源的投入，一次恢復任務成功后可建立周期性恢復任務，簡化了工作難度。
敏感數據管理提供對隱私數據的自動識別和仿真脫敏，避免了人為發現不徹底的現象，豐富了脫敏算法，使脫敏后的“假數據”更能滿足真實的場景驗證需求。測試數據管理規范了《網絡安全法》頒布實施以來的數據申請流程，既保證了數據申請到使用的流程安全也加快了程序升級的業務周期，使數據孤島變為有跡可循的數據分支，通過可視化資源拓撲圖對數據使用流轉情況一目了然，同時創新的數據壓縮存儲池大大減少了對數據使用過程中存儲的占用，顯著降低了數據存儲成本。ADM集中管理數據的采集、傳輸、存儲、使用、流轉的方式，解決了企業數據使用全流程安全管控的實際需求。
產品部署拓撲圖：
企業用戶通過部署應用ADM產品能夠實現以下的收益：
（1）滿足產品的國產化，保證技術自主可控
ADM產品完全自主研發，全面掌握數據的獲取、存儲、數據庫虛擬化、脫敏技術，確保針對上中下游數據的應用系統完全自主可控，減少依賴外部技術帶來的潛在風險。
（2）實現資源綠色節能，降低存儲成本
持續優化的數據庫虛擬化技術解決了數據使用過程速度和頻率問題，避免了底層過度占用存儲資源的現象，緩解了存儲容量的壓力。
（3）數據監控跟蹤，提升數據流轉效率
數據庫使用過程中可監控、可追溯，根據相應管理制度釋放占用的服務器與內存資源，實現集中統一的管理。
（4）數據使用流轉可視化監控
將數據脫敏和數據流轉無縫結合，數據流轉以樹狀拓撲圖動態展示，監控數據分支情況。
用戶反饋
中國鐵塔在云上管理的應用系統達到130多套，虛機5千多臺，整體存儲容量7PB，數據規模超過700TB，存在冗余數據副本管理困難、測試數據交付慢等問題。在引入上訊的ADM產品之后，鐵塔的測試數據交付以自動化、智能化的方式替代了落后的人工拷貝數據方式，測試數據交付效率提高了15倍，存儲空間占用降低了約一半。其具體應用于中國鐵塔的兩個工作場景中：一個是測試數據的極速交付，一個是備份數據自動化恢復與有效性驗證。不但提高了鐵塔的業務開發和測試效率，還讓IT部門有更多的時間和精力用在創新方面，加速助力我公司的IT部門由原來單純的支撐部門真正變成企業業務發展的核心部門。
——中國鐵塔
ADM解決方案大幅提高了中信銀行在開發測試環境中的工作效率，使數據環境準備時間縮短到原來的20%以下。
而且ADM產品解決了中信銀行在實際應用場景下，在數據管理效率、安全性和經濟性等方面的一系列問題，ADM解決方案的新技術與傳統銀行業務的融合迸發出創新力，加速推進了中信銀行的產業化數字轉型，提升了中信銀行在新業態背景下金融領域的核心競爭力。
——中信銀行
東海證券通過對信息部門業務網絡中存在風險的現狀進行梳理，發現數據使用流程缺乏統一的管理入口，下游測試數據交付速度慢，非生產環境中存在大量的數據孤島，極易受到安全威脅。在采用了敏捷數據管理平臺ADM產品后，大大提升了東海證券的網絡安全攻防能力，保證了敏感數據的測試準確性和檢測效率，同時，靈活的全流程管控方式保證了我們自身數據資產的完整性和可恢復性。
——東海證券
推薦理由
2021年6月10日，《中華人民共和國數據安全法》正式公布，將于9月1日開始實施。《數據安全法》強調了企業在保護數據安全中應承擔的責任：企業需要制定相關制度來保障數據安全，補救數據安全風險，上報數據安全事件。企業數據使用安全有兩個重點工作：一是數據交付效率，保證數據使用過程中流轉和分發的效率，提高輔助決策業務的高效性；二是防止敏感數據泄露。
上訊信息敏捷數據管理平臺ADM這款產品針對的是數據使用交付效率及敏感數據泄露的安全防護，使數據使用過程中兼具效率和安全性的雙重保障，節省了人力資源、降低存儲成本并減少了企業的數據安全風險。
