大數據時代基於雲計算的數據監護研究論文

在大數據時代，為了更好地管理和利用科學數據，計算機圖靈獎獲得者Jim Gray於2002年提出了數據監護(Data Curation)的概念。十餘年來，數據監護一直是國內外信息資源管理領域的熱點議題，研究主題集中在數據監護的內容、發展策略、合作模式、職業教育、成功實踐等領域。111鑑於雲計算能夠為數據監護提供強有力的技術支撐，如雲計算快速提供資源的能力有助於輔助完成資源密集型數據監護任務，網絡化雲服務有利於實現數據監護的協同工作，基於雲計算開展數據監護引起了國外信息資源管理學界和業界的廣泛關注。本文對基於雲計算的數據監護問題進行探討，希望對我國的數據監護工作有所借鑑。

一、數據監護工作流程

數據監護是為了確保數據當前的使用目的，並能用於未來再發現及再利用，從數據產生伊始即對其進行管理和完善的活動。121為了有效指導數據監護實踐，提高數據監護效率，一些數據監護機構和研究者對數據監護過程進行了概念化，提出了相應的數據監護生命週期模型。本文基於英國數據監護中心的DCC數據監護生命週期模型13與王芳和慎金花提出的細化的數據監護生命週期模型，梳理出了數據監護工作流程，見圖1。數據監護工作流程由4個階段、11個業務環節組成，涵蓋了數據監護的所有必要階段和核心工作。

數據收集階段：數據採集。數據採集是數據監護活動的起點，指根據採集政策，從數據創建者、檔案館、知識庫或數據中心等接收數據。元數據創建。為採集到的數據創建管理、描述、結構和技術元數據，以便進行數據管理和數據維護，以及實現數據共享。

數據處理階段：數據評價和選擇。評估數據併為長期監護和保存選擇數據。數據評價和選擇直接關係到科學數據庫的質量，並且帶有一定的主觀性。數據剔除。根據成文的政策、指引或法律要求，處理未成為長期監護和保存對象的數據，將這些數據轉移到其他檔案館、知識庫、數據中心或其他保管機構。根據法律要求，有些數據會被安全銷燬。數據導入。將經過選擇的數據傳送至檔案館、知識庫、數據中心或其他數據監護機構。為保證數據的可用性，在導入數據之前，應進行去重、交叉註釋、格式認證等。數據遷移。根據存儲環境的需求，或者為了確保數據對硬件和軟件退化的抗擾性，改換數據的格式、存儲系統、存儲類型。

數據保存階段：數據長期保存。長期保存須確保數據的可信性、可靠性、可用性和完整性。長期保存包括數據清洗、數據驗證、分配保存元數據、分配表徵信息，保證數據具備可接受的數據結構和文件格式。數據存儲。遵守相關標準，選擇科學的組織方式和安全的存儲介質組織並存儲數據。數據存儲既可以保證數據的安全性，又便於數據被隨時使用和加工處理。

數據利用階段：數據獲取。採用適當的標準發佈數據，並執行嚴格的訪問控制和驗證程序，保證用户安全、準確的訪問和獲取數據。數據複用。制訂數據複用規則，在不違反知識產權的前提下，提供數據複製、鏈接、引用等服務。數據轉換。根據原始數據創建新數據。例如，通過轉換格式、建立子集等途徑，創建新數據。

二、雲計算為數據監護提供支撐

雲計算作為分佈式計算、網絡存儲、負載均衡、熱備份宂餘等計算機和網絡技術融合的產物，具有超大規模、虛擬化、通用性、高可擴展性等諸多特點。雲計算的特點與數據監護的需求非常契合，可以為數據監護提供強有力的技術支撐。

彈性服務：雲計算服務的規模可快速伸縮，以自動適應業務負載的動態變化。用户使用的雲計算資源與業務的實際需求相一致，避免了因為資源供需不匹配而導致的服務質量下降或資源浪費。161數據監護的數據剔除和數據遷移等任務不需要持續不斷的執行，屬偶發性活動。雲計算的彈性服務能夠很好地滿足偶發性數據監護活動的資源調用需求。

按需服務：雲計算以服務的形式為用户提供基礎設施、存儲空間、應用程序等，並能夠根據用户的需求，自動分配各種資源。17用户也可以根據需要在雲中部署所需的應用程序。雲計算的按需服務為數據監護中需要依賴主觀意識完成的任務，如元數據創建、數據評價和選擇提供了極大的便利。

泛在接入：用户通過互聯網可以隨時隨地利用雲計算服務。數據用户越來越多的使用筆記本電腦、智能手機、平板電腦，將數據監護業務流程轉移至雲，能夠極大地方便用户上載、訪問和下載數據。數據監護的數據採集、數據獲取和數據複用等業務環節，可以從雲計算的這一特點中受益。

服務外包：用户進行數據處理所需的計算資源價格昂貴，將提供計算資源的業務委託給雲服務商，既能夠節省開支，又能夠使用户專注於自己的核心工作。雲服務商為了利益最大化，保持最優競爭力，都會迅速應對技術變革，以更低的價格提供更快的處理器和更大的存儲空間。雲計算服務外包的特點使數據監護機構將部分信息技術支持業務委託給雲服務商，以獲得更低廉的價格和更優質的服務成為可能。

三、基於雲計算的數據監護模型

雲計算提供從硬件設施到應用軟件的多層次服務。根據服務的對象和功能差異可以將雲計算劃分為三種服務模式：基礎設施即服務(IaaS)、平台即服務(PaaS)、軟件即服務(SaaS);根據租用雲計算的用户對數據和環境的控制權，可以將雲計算劃分為公有云、私有云和混合雲等部署模型。本文根據數據監護不同業務階段的工作內容和技術需求，並結合雲計算的服務模式和部署模型，構建了基於雲計算的數據監護模型，見圖2。下面分別從數據監護的雲計算服務模式和部署模型兩個方面分析基於雲計算的數據監護模型。

(一)數據監護的雲計算服務模式

IaaS層。IaaS提供基礎設施部署服務。IaaS通過虛擬化技術整合服務器、存儲設備、網絡資源、高性能計算集羣等物理資源，構建全局統一的動態虛擬化資源池。基於雲計算的數據監護模型的IaaS層為上層雲計算服務提供海量硬件資源，實現硬件資源的按需酉己置。

PaaS層。PaaS是雲計算應用程序運行環境，提供應用程序部署與管理服務。PaaS不僅能夠實現海量數據的存儲，而且能夠提供面向海量數據的分析處理功能。在基於雲計算的數據監護模型的PaaS層，數據監護機構使用雲供應商的軟件工具和開發語言，開發數據收集和數據處理所需的各種應用程序，實現應用程序的多元化和定製化服務，並將科學數據保存於海量數據存儲系統。

SaaS層。SaaS提供以服務為形式的應用程序。SaaS允許用户使用部署於供應商雲基礎設施上的應用程序，用户也可以根據需求向供應商定製應用程序。在基於雲計算的數據監護模型的SaaS層，數據監護機構通過應用程序向用户提供數據利用服務，實現數據共享和科研協作。

(二)數據監護的雲計算部署模型

數據監護的各個階段分別面向數據監護方和數據使用方，對應不同的數據存取、處理等操作權限，因此需要採用相適應的雲計算部署模型。數據監護過程中的數據利用階段位於SaaS層，為用户提供方便高效的數據獲取等服務，而公有云面向一般公眾提供敏捷彈性服務的特點與數據利用階段的功能需求相契合。用户能夠通過網絡瀏覽器像使用個人電腦中的軟件那樣使用公有云的應用程序，實現應用程序的泛在訪問。因此，基於雲計算的數據監護模型的SaaS層應採用公有云部署模型。數據收集和數據處理工作要求雲計算提供量身定製的服務功能和非常穩定的'服務質量，而數據保存工作要求雲計算能夠切實保障數據安全。私有云部署在用户數據中心的防火牆內，能夠提供對數據、安全性和服務質量的最有效控制，而且不會衝擊用户已有的業務流程。因此，基於雲計算的數據監護模型的PaaS層適宜採用私有云部署模型。上述公有云和私有云的基礎設施共同構成了基於雲計算的數據監護模型的IaaS層，並且公有云和私有云具有統一的接口標準，保證服務的無縫遷移，即IaaS層採用混合雲部署模型。

四、基於雲計算的數據監護案例

SRF項目：英國南安普頓大學的SRF項目，針對科學研究工作集成了許多已有的協作型數據管理工具，並將這些工具部署到一個共享的虛擬雲平台上，以SaaS的方式提供服務。SRF工具最大的特點是能夠在網絡日誌中自動或者手工創建和共享實驗數據。例如，SRF的一款代理軟件能夠植入實驗儀器和計算機，自動抽取儀器在實驗過程中記錄的數據，並轉換為XML格式，然後以博客的形式發佈以實現協作複用。通過博客發佈平台實現實驗過程、實驗數據、實驗分析的互聯，組織實驗數據記錄，構建實驗、實驗數據、實驗設備之間的關聯關係。在數據監護生命週期中，SRF工具主要用於接收和抽取數據，以保證實驗數據在上載至雲的過程中會被格式化成標準格式。

Data Flow項目：牛津大學的Data Flow項目，旨在創建免費的雲託管Data Stage和Data Bank，以便於管理、保存、發佈研究數據。其中，Data Stage以在用户電腦上運行映射驅動器的方式，提供研究組水平的、安全的“本地”文件管理環境。另外，Data Stage還提供數據的網絡獲取和在線存儲服務，用户通過訪問控制程序的認證之後，即可以訪問私人、共享、協作、公眾和公共數據目錄。Data Bank是一種虛擬化的、基於雲部署的機構研究數據倉儲。機構可以選擇將Data Bank部署在Eduserv教育雲或者機構自己的基礎設施中。Data Bank還具備包括數據抽取、儲存、長期保存、訪問在內的一系列數據監護功能。

Kindura項目：倫敦國王學院的Kindura項目，是一個基於混合雲部署模型的科學數據管理試點項目，提供基於存儲的數據管理服務和基於計算的數據處理服務。Kindura項目通過DuraSpace推出的託管雲服務一DuraCloud，將本地服務與各種雲服務相銜接。用户利用DuraCloud提供的統一界面，即可享受一站式數據存取服務。Kindura項目通過部署於服務器上的規則引擎，以及面向規則的集成數據管理系統(iRODS)的規則庫，決定具體數據存儲在本地還是存儲於雲端：二進制對象存儲在雲端，元數據和Fedora對象存儲在本地。l9Kindura項目證明，混合雲能夠有效節省數據監護成本，並且能夠更加高效地利用本地存儲庫，提升數據處理能力。

東南大學AMS-02項目：東南大學為大型國際合作項目AMS-02的數據監護工作構建的雲計算平台，提供IaaS、PaaS、SaaS服務。該雲計算平台架構如圖3所示。在IaaS層，雲計算基礎設施由3500顆CPU內核和500TB高速存儲設備構成，提供虛擬機和物理機的按需分配，並且自動配置操作系統、科學計算函數庫等運行環境。在PaaS層，數據分析處理平台提供大規模計算能力和海量數據存儲能力;應用開發環境為AMS-02數據分析處理應用提供編程接口。在SaaS層，以服務的形式部署雲計算應用程序，用户通過訪問AMS-02應用，可以獲取原始科學數據以及數據處理分析結果。雲計算通過超級計算模式，整合大量的存儲、計算、帶寬等資源，為數據監護提供了經濟高效的解決方案。國內的數據監護尚處於起步階段，對基於雲計算的數據監護進行深入的理論探討和實踐探索，有助於推動我國的數據監護實現跨越式發展。