數(shù)據(jù)交付流程編排自動化解決方案
上訊信息主營數(shù)據(jù)安全治理業(yè)務(wù),主要面向以銀行業(yè)為首的金融客戶群體,解決方案覆蓋證券、保險、基金、期貨等金融機構(gòu)。上訊信息從事數(shù)據(jù)安全技術(shù)創(chuàng)新10余年,積累了大量數(shù)據(jù)安全行業(yè)技術(shù)經(jīng)驗,專注于數(shù)據(jù)治理等領(lǐng)域產(chǎn)品的自主研發(fā),早在2016年上訊信息就依據(jù)CDM技術(shù)理念成功研發(fā)以數(shù)據(jù)庫虛擬化技術(shù)為**的敏捷數(shù)據(jù)管理平臺(ADM)產(chǎn)品,并于當(dāng)年申請國家發(fā)明專利,以此為金融行業(yè)提供了專業(yè)的數(shù)據(jù)安全治理領(lǐng)域的解決方案,由于上訊信息對金融行業(yè)客戶的數(shù)據(jù)使用現(xiàn)狀與數(shù)據(jù)治理需求理解深入,現(xiàn)已與20余家大型銀行建立了長期穩(wěn)定的合作關(guān)系。
數(shù)據(jù)交付流程編排自動化解決方案主要通過部署敏捷數(shù)據(jù)管理平臺(ADM)產(chǎn)品實現(xiàn),通過在用戶環(huán)境的生產(chǎn)域和測試域分別部署一臺敏捷數(shù)據(jù)管理平臺(ADM)產(chǎn)品,兩臺之間通過**線路以開通端口的方式進行數(shù)據(jù)的單向傳輸,自動化的流程編排通過圖形化的數(shù)據(jù)畫布按照步驟環(huán)節(jié)實現(xiàn)不同業(yè)務(wù)流程的自動處理,目前完整的數(shù)據(jù)流程編排為數(shù)據(jù)備份恢復(fù)驗證、安全***與交付流程的全自動任務(wù)編排,其中恢復(fù)驗證和***數(shù)據(jù)交付也可實現(xiàn)**的任務(wù)編排。從物理部署角度來看,生產(chǎn)域的敏捷數(shù)據(jù)管理平臺(ADM)主要用于備份生產(chǎn)域的生產(chǎn)數(shù)據(jù)或恢復(fù)備份服務(wù)器中的備份數(shù)據(jù),數(shù)據(jù)獲取后生成基于CDM技術(shù)的“黃金副本”,交付流程的任務(wù)編排是基于黃金副本開始的,首先按照數(shù)據(jù)交付的需求選定數(shù)據(jù)源即某一份基礎(chǔ)的黃金副本,然后根據(jù)基礎(chǔ)數(shù)據(jù)的容量分配空閑的存儲資源;再基于CDM技術(shù)快速創(chuàng)建一個生產(chǎn)數(shù)據(jù)的虛擬副本,此時,按照預(yù)設(shè)的數(shù)據(jù)驗證需求可預(yù)先上傳數(shù)據(jù)驗證腳本,自動地開啟恢復(fù)數(shù)據(jù)的校驗過程,或按照預(yù)設(shè)的數(shù)據(jù)脫敏需求聯(lián)動數(shù)據(jù)脫敏模塊啟動對恢復(fù)數(shù)據(jù)的數(shù)據(jù)脫敏處理,數(shù)據(jù)脫敏可按照數(shù)據(jù)脫敏向?qū)О床襟E操作;如上一步完成對數(shù)據(jù)的安全處理后,可對虛擬副本創(chuàng)建數(shù)據(jù)快照,通過單向傳輸端口,推送到測試域的敏捷數(shù)據(jù)管理平臺(ADM),測試域ADM根據(jù)業(yè)務(wù)需求向不同的測試目標(biāo)機創(chuàng)建具有固定時效期限的虛擬副本,交付到不同的測試組,測試組根據(jù)自己的業(yè)務(wù)需要實現(xiàn)測試數(shù)據(jù)的回歸測試、批量測試等,如需記錄測試數(shù)據(jù)版本,測試組可設(shè)置自動快照對測試數(shù)據(jù)進行定時快照,在預(yù)設(shè)時效期到達之前會提醒測試組成員“即將收回數(shù)據(jù)資源”,測試組成員可根據(jù)需要申請延長虛擬副本的使用期限,也可以按照計劃完成測試任務(wù),刪除所有數(shù)據(jù)快照,等待數(shù)據(jù)資源到期收回,自動清理任務(wù)緩存,釋放存儲和服務(wù)器資源。整個流程的自動化編排實現(xiàn)了金融數(shù)據(jù)以自動化策略驅(qū)動的數(shù)據(jù)智能共享,對金融數(shù)據(jù)的安全高效應(yīng)用提供了全流程的解決方案。
金融行業(yè)應(yīng)用本方案的優(yōu)勢主要體現(xiàn)在三方面,分別是保障數(shù)據(jù)安全、提高數(shù)據(jù)流轉(zhuǎn)效率、提供智能服務(wù)體驗。
(1)純閉環(huán)式的數(shù)據(jù)流轉(zhuǎn)過程,保證金融數(shù)據(jù)安全流轉(zhuǎn)
生產(chǎn)數(shù)據(jù)作為數(shù)據(jù)流轉(zhuǎn)的源頭,是數(shù)據(jù)使用與管控的前提,嚴(yán)格把控數(shù)據(jù)源入口,實現(xiàn)閉環(huán)式自動化獲取生產(chǎn)數(shù)據(jù)的管理流程,制定獲取任務(wù)計劃,統(tǒng)一授權(quán)、全程監(jiān)控,可以保證數(shù)據(jù)入口的集中統(tǒng)一,減少人為參與帶來的安全隱患。生產(chǎn)數(shù)據(jù)獲取后,通過聯(lián)動數(shù)據(jù)脫敏模塊自動掃描敏感數(shù)據(jù),***精細定位敏感數(shù)據(jù)源,以豐富的***算法與仿真的字典庫相結(jié)合,保證***后數(shù)據(jù)仍具有業(yè)務(wù)屬性,不影響數(shù)據(jù)價值分析。
(2)流程化作業(yè)自動編排,加速數(shù)據(jù)流轉(zhuǎn)的效率
基于獲取的生產(chǎn)數(shù)據(jù),制定數(shù)據(jù)策略選擇、存儲資源分配、應(yīng)用環(huán)境選擇、數(shù)據(jù)驗證、數(shù)據(jù)脫敏、數(shù)據(jù)交付、資源回收、消息通知的流程化作業(yè)編排模板,保證在完成某一生產(chǎn)數(shù)據(jù)的獲取后,自動調(diào)用任務(wù)模板執(zhí)行數(shù)據(jù)流轉(zhuǎn)任務(wù),為保證傳輸?shù)陌踩?,傳輸通道設(shè)置為單向傳輸,傳輸策略可靈活設(shè)置為定時傳輸、實時傳輸,傳輸過程中監(jiān)控傳輸進度、帶寬資源占用等情況,以此優(yōu)化調(diào)整數(shù)據(jù)傳輸?shù)男屎唾Y源。
(3)數(shù)據(jù)全自動化流程編排,實現(xiàn)了智能化的數(shù)據(jù)共享
金融數(shù)據(jù)交付流程編排是利用數(shù)據(jù)備份、備份數(shù)據(jù)自動化恢復(fù)作為基礎(chǔ)數(shù)據(jù),通過數(shù)據(jù)驗證、數(shù)據(jù)脫敏、數(shù)據(jù)副本的分鐘級交付,實現(xiàn)***源數(shù)據(jù)的快速準(zhǔn)備、聯(lián)動***、并將***后的數(shù)據(jù)單向推送到測試域,從而實現(xiàn)數(shù)據(jù)的獲取、存儲、***、發(fā)送/接收、交付、回收、清理的全流程管理。同時,針對流程編排中的交付環(huán)節(jié)支持快照記錄狀態(tài),即對數(shù)據(jù)狀態(tài)進行實時或定時的快照,一旦需要回歸測試,可快速啟動快照進行狀態(tài)回退。尤其針對測試域?qū)崿F(xiàn)多副本在線交付的數(shù)據(jù),一個數(shù)據(jù)狀態(tài)即為一個數(shù)據(jù)版本,不同版本之間可以實現(xiàn)切換、回退、前滾、后滾,用于對應(yīng)不同的系統(tǒng)開發(fā)版本,這一功能明顯提升了版本迭代的靈活性。