大數據時代數據管理技術研究綜述論文

隨着計算機技術和網絡的快速發展，半結構化和非結構化等類型數據成幾何倍增長，學習和使用大數據管理技術順應時代發展潮流。本文從數據管理技術的發展進程出發，介紹了人工管理方式、文件系統管理方式、數據庫管理方式三種階段的管理方式。然後詳細介紹了關係數據庫和NoSQL非關係數據庫，並且將兩者從三種角度進行了對比。最後對未來大數據時代信息管理方式作出了展望。

引言

隨着計算機和網絡技術的快速發展，移動互聯、社交網絡、電子商務、雲計算等各種新興服務的興起，極大拓展了互聯網的疆界和應用領域，隨之產生的是海量的數據，這些數據不僅來源的渠道多樣，並且數據規模和數據種類也是快速的增長，大數據時代已經來臨。大數據時代，無法將海量數據存儲和管理在一台或者有限數目的服務器內，更無法藉助有限的計算機去處理和管理大數據。因此，如何利用現有的資源應對當前數據量的快速增長，實現對大數據的有效、便捷、安全的管理，是當前國內外關於數據管理和數據分析亟需解決的問題。

1 數據管理技術的發展

數據管理是指對各種類型的數據進行採集、存儲、分類、計算、加工、檢索和傳輸的過程。隨着計算機和網絡技術的不斷髮展和改進，數據庫管理技術也在不斷的更新換代。到目前階段為止，數據管理技術主要發展歷程經歷了以下階段：人工數據管理方式、文件系統管理方式和數據庫系統管理方式。

1.1 人工數據管理方式

20世紀50年代中期，計算機初期被應用於科學計算方面，因此，早期的數據處理都是手工完成的。數據存儲只有磁帶、卡片和紙帶等低速存儲設備。既沒有操作系統，也沒有管理數據的專門軟件，此階段管理的數據，不能進行共享，且沒有獨立性，數據純粹面向應用，服務於應用。

1.2 文件系統管理方式

20世紀60年代中期，隨着計算機進一步的發展，不僅用於科學計算，而且更多地用於信息處理。對於數據存儲，有了磁盤、磁鼓等存儲設備。操作系統和高級語言的出現為文件系統管理提供了可能。此階段的文件系統，是按照相應的規則將數據組織成一個獨立的命名文件。這一時期的數據特點是：數據可以長期存儲在磁盤上、有專門的軟件進行管理維護、數據不再獨立存在，數據不止服務於應用，在一定程度上，數據的共享性得到了提高。

1.3 數據庫系統管理方式

20世紀60年代後期，數據庫系統管理方式逐漸形成並具有一定的規模。由於磁盤技術的不斷進步和發展，低成本、高速的硬盤佔領了市場，為新的數據管理技術提供了產生的必要條件。對應的軟件技術也有一定的發展。數據庫系統是由計算機的軟硬件資源共同組成，實現了數據的動態、有規則、獨立存儲。如圖1所示。

2 大數據管理技術

大數據是指無法在可承受的時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合。歸結為四個特點就是四“V”，即大量(Volume)、高速(Velocity)和多樣性(Variety)和價值(Value)。大數據首先體現在數據量上：全球著名諮詢機構IDC(國際文獻資料中心)在2006年估計全世界產生的數據量是0.18ZB(1ZB=100萬PB)，而截至2011年這個數字已經提升了一個數量級，達到1.8ZB。這種數據產生的速度仍在增長，預計2015年將達到8ZB。隨着數據量的增長，得到龐大的數據源和樣本數據後，人們並不能容忍對於這些龐大的數據處理響應時間。因此，大數據需要在數據量提高的前提下，數據的處理和響應能力進行提高，從而確保數據延遲可以在人們的接受範圍之內。因此數據處理要得到有效的保證，那如何存儲和組織管理這些海量數據，值得我們去探索和研究。

2.1 關係型數據庫(RDBMS)

2.1.1 關係數據庫的提出

20世紀70年代初，IBM工程師Codd發表了一篇論文“A Relational Model of Large Shared DataBanks”，隨之關係數據庫時代宣告到來。關係數據庫管理系統(Relational Database ManagementSystem，簡稱RDBMS)就是基於上述的論文而被設計出來的。在關係數據庫之前的系統主要有基於層次模型的層次數據庫、基於網狀模型的網狀數據庫等。以上幾種數據庫的主要不足是數據模型是很難被用户所理解，並且編寫的軟件與數據模式依賴性比較高。Codd提出的關係數據模型是基於表格、行、列、屬性等基本概念，將現實世界中的各類實體及其關係映射到表格上，並且還為關係模型建立了關係代數運算。

2.1.2 關係數據庫的應用

關係數據庫系統最初主要是應用於事務處理領域。隨着數據的不斷積累增長，人們需要對數據進行分析操作，提取出有用的信息以支持決策等等。這些分析操作主要包括簡單彙總、聯機分析處理(online analytical processing，簡稱OLAP，主要是多維分析)、統計分析、數據挖掘等。有些分析處理需要對數據集進行多次的掃描，分析查詢執行的時間以分鐘或者小時計。與普通行存儲模式不同，一些學者提出了列存儲模式(columnar storage model)。列存儲模型有行存儲沒有的優勢特徵，當查詢只涉及關係的某些數據列時，不會造成無關數據的提取，減少I/O操作，提高了查詢的效率。圍繞RDBMS，形成了一個完整的生態體系(廠家、技術、產品、服務等)，提供了包括數據採集、數據管理、數據查詢與分析、數據展現(即可視化)等技術和產品，創造了巨大的數據庫產業，為社會發展做出了巨大貢獻。

2.1.3 關係數據庫的不足

大數據時代的到來，關係型數據庫並未做好全面的準備，出現了諸多問題，主要問題有以下幾個方面：

(1)關係模型不容易組織和管理所有類型多樣的數據，例如在關係數據庫裏，管理大規模的高維時空數據、大規模的圖像數據等都顯得力不從心。

(2)如何才能通過大量節點的並行操作實現大規模數據的高速處理，仍然值得我們去探索。在關係數據庫上進行大規模的事物處理，不但需要解決查詢的性能問題，更需要解決修改操作的性能問題，大量的事物處理，需要高效完成，才能保證數據的持久性和可靠性。

(3)在關係數據庫上進行數據的複雜分析，能夠使用的是統計分析和數據挖掘軟件包;現有的統計分析、數據挖掘軟件包能夠處理的數據量受限於內存開銷，並行化程度不高。從數據庫中提取數據，注入到分析軟件中進行分析，在大數據時代，這樣的數據移動以及不合適了。通過數據的劃分和並行計算，實現高性能的數據分析成為必然選擇。

從中可以得出，現如今的數據管理已經不是簡單的關係型數據庫可以解決的，關係型數據庫在一定程度上只能解決初期的大數據管理。

2.2 NoSQL數據庫管理技術

隨着時代的發展，傳統的關係型數據庫已經無法滿足人們對於更高的併發讀寫、海量數據的高效存儲和訪問以及高擴展性和可用性等需求，出現了NoSQL數據技術。

對於NoSQL技術，學術界有兩種對其的解釋：(1)“Non-Relational”，也就是非關係型數據庫;(2)“Not Only SQL”，即數據庫不僅僅是SQL。當前第二種解釋比較流行。NoSQL數據庫是指數據模型定義不明確的非關係型數據庫。NoSQL數據庫具有靈活的數據模型、高可擴展性和美好的發展前景。下面主要介紹NoSQL的幾種管理技術。

NoSQL數據庫普遍採用的數據管理方式有四種：Key-Value存儲方式、BigTable存儲方式、Document存儲方式以及Graph存儲方式。2010年Rick Cattell對各種典型NoSQL系統從各個方面做了比較系統的分析。

2.2.1 基於Key-Value存儲的NoSQL技術

Key-Value是NoSQL系統比較常用的數據存儲方式，每個Key值對應每一個任意類的數據值，對應的對象可以是結構化數據，也可以是文檔。Key-Value存儲的思想是將抽取唯一可以確定數據的特徵屬性，作為key，並將作為value對象。基於Key-Value模型組織數據，需要將數據按照Key-Value形式存儲，而後可以通過對Key-Value進行序列化排序操作繼而存儲、將Key-Value存儲為字符串或者字節數據，並且對key建立索引以便進行快速查詢。Key-Value存儲方式的NoSQL系統有的採用的DISK方式存儲實現同步數據複製(例如Membase等)，有的採用RAM存儲數據實現異步數據複製(例如Redis等)。

Jing Han等人基於Key-Value存儲提出了CDSA(Cloud Data Storage Architecture)，體系結構可以較好優化雲計算過程中的數據查詢，同時也保證了海量數據的存儲。CSDA包括三層：DCL(DataCache Layer)、MDL(Memory Database Layer)、DDL(Disk Database Layer)。

2.2.2 基於BigTable存儲的NoSQL技術

BigTable管理方式是Google提出來並廣泛採用的存儲方式，而且也被HBase、HyperTabley以及Cassandra等系統借鑑使用。在BigTable存儲中，同樣是通過Key-Value基礎模型對數據進行建模，不一樣的是Value具有了比較精巧的結構，即一個Value包含多個列，這些列還能進行分組(column family)，表現出了多層嵌套映射的數據結構特點。HBase是受BigTable啟發而開發的基於Column Family存儲的NoSQL技術。Hbase提供系統的SQL查詢接口，用户可以輕鬆的對數據進行管理工作。Cassandra技術也是受到BigTable的啟發，只不過Cassandra做了大幅度的修改。Cassandra在Column Family下加入了超級列(super column)概念層次的映射關係，方便對數據進行建模。Cassandra還可以將多個Column Family在磁盤存儲在一起，這樣就可以在同時訪問時提高效率。

2.2.3 基於Document存儲的NoSQL技術

基於Document(文檔)存儲的技術以及發展很久了，例如IBM的Lotus Notes。這裏所説的基於Document存儲的NoSQL技術是基於傳統文檔存儲技術的新發展、新技術。基於Document存儲技術仍是以Key-Value存儲模型為基本模型，此模型可以對文檔的歷史版本進行追蹤，單個文檔又是一個Key-Value的列表，形成循環嵌套的結構，對於某些特定的查詢方式來説，Document存儲的效率更高。因為其數據的循環嵌套的結構特點，應用程序可能會越來越複雜並且難以維護和理解。主要的技術和產品有CouchDB， MongoDB和Dynamo。

2.2.4 基於Graph存儲的NoSQL技術

基於Graph存儲的系統包括Ne04J， InfoGrid，Hyper Graph DB等。有些圖數據庫是基於面向對象數據庫創建的，例如Infnite Graph，在節點的遍歷等圖數據的操作中，展現出了高效的性能。Graph存儲方式是將整個數據集建模成一個大型的網絡結構，之後再採用一系列圖操作實現對數據的操作。由於圖由結點和邊構成，對於海量數據不能完全裝入內存，因此，Graph存儲方式一般是基於DISK的，NoSQL系統實現圖索引，完成圖的調入調出。

從數據管理的角度來看，使用非結構化Key-Value存儲管理結構化大數據仍然是順應應用需求的。因為基於Key-Value存儲的Hadoop數據倉庫實現技術尚處於起步階段，需要其他數據庫技術來加速器發展進程。

2.2.5 NoSQL的'不足

與傳統的關係型數據庫相比，NoSQL非關係型數據庫在並行處理方面有一定優勢，但也是存在一些問題，主要體現在：

( 1) NoSQL很難實現數據的完整性

由於NoSQL項目中很難實現數據的完整性，而在企業中數據完整性又是必不可少的。因此，在企業中，NoSQL的應用還不是很廣泛。

(2)成熟度不高

大部分的NoSQL數據庫都是開源項目，沒有世界級的數據庫廠商提供完整的服務，出現問題，都是自己解決，風險較大。

(3)關係數據庫比NoSQL在設計時更能夠體現實際，而NoSQL數據庫缺乏這種關係，難以體現業務的實際情況，對於數據庫的設計與維護都增加了難度。

2.3 關係數據庫和NoSQL數據庫的區別

傳統的關係數據庫與NoSQL數據庫在數據管理系統發展不同的時間段裏都體現出了自己的可用性和實用性，能夠解決的一定的問題。表格l將兩者進行了對比。

3 數據管理方式的展望

通過上述研究分析可以看出，關係數據庫已經無法滿足現階段即大數據時代人們對於數據存儲和管理的需求，更高的存儲效率和更快的查詢速度等一系列高要求，促使數據管理方式不斷向前發展。NoSQL技術在一定程度上解決了大數據時代的數據管理需求，但仍需採用新技術提高數據庫的一致性和可用性。關係數據庫主要優點表現在其屬性值之間可以通過SQL操作進行關聯操作，體現出了數據的完整性，NoSQL數據庫將數據進行分佈式存儲，為之後的大數據處理作鋪墊。關係數據庫的ACID強調數據一致性通常指的是關聯數據之間的邏輯關係是否正確和完整，而對於很多互聯網應用來説，對一致性和隔離性的要求可以降低，而可用性的要求則更為明顯。關係數據庫和NoSQL數據庫並不是對立的矛盾體，而是可以相互補充的，可以根據不同的需求使用不同的技術，各取所需，甚至可以共同存在，互不影響。

目前大數據的應用領域還是主要以民用為主，以電信通信為例，客户之間通信傳輸過程中產生海量數據，將這些海量數據進行實時存儲，再利用大數據方法提取有效信息，形成整套的數據管理與分析的流程。在電信.氣象、企業等領域大數據管理與分析已經有比較成熟的思路和解決方法。在航天試驗領域，空間飛行器執行任務可以產生海量數據，包括飛行器自身載荷數據，以及試驗任務數據，這些數據的類型多樣、數據量大，隨着試驗任務的頻率和在軌航天器數量的增大，數據管理問題日益凸顯，採用大數據管理的思維解決航天試驗任務中數據管理問題，是未來航天試驗任務數據存儲和分析的必然趨勢。

4 結論

大數據時代已經向我們走來，數據管理技術已經進入了新的階段。本文研究分析了數據管理技術的發展進程，分析了關係數據庫和NoSQL數據庫，並且進行了對比區分。最後，對大數據未來的管理方式作出了展望。關係數據庫和NoSQL數據庫系統是隨着人們對於數據管理的需求產生和發展的，在不同的數據管理髮展階段，根據需要對其進行分析的數據特點，選擇適當的數據管理方式，幫助人們解決了一定的問題和需求。