信息管理專業建立大數據實驗平台的思考論文

隨着大數據、商務智能技術的快速發展與廣泛應用，作為綜合型應用型人才的信息管理專業的本科生必須在掌握理論知識的前提下了解和熟悉大數據存儲、處理、分析與可視化的實踐操作，這就對建立大數據實驗平台提出了要求。本文探討大數據實驗平台建立的必要性與可行性，並通過大數據系統的調研情況，給出大數據實驗平台建立的初步構想。

一、引言

隨着大數據應用範圍的擴大，相應的人才需求也存在很大缺口，此時在信息管理學院建立大數據開發實驗室，包括雲存儲平台建設、基於雲存儲平台的教育資源建設、大數據開發平台建設、大數據分析工具與資源建設，能應用雲存儲技術實現教育資源的有效應用;能促進學生了解大數據開發的Hadoops環境，以及該環境下的平台建設;並能在該平台下進行大數據分析實踐。本校信息管理學院包括信息管理與信息系統、電子商務、信息安全等專業，在此實驗平台上，根據不同的教學目標開發針對不同專業的學生的開放性實驗課程尤為重要。

二、必要性與可行性

當前“大數據技術”充滿了新的機遇和挑戰，其在企業IT基礎架構、數據管理、分析和服務這些關鍵規劃領域的應用，將會對社會經濟發展帶來長遠深刻的影響。大數據指的是從各種各樣的數據中快速獲得有價值信息的能力，具有數據量大、種類繁多、價值稀疏、處理速度快的`特徵，這些特徵對目前社會各個行業的信息架構、系統的衝擊非常大。大數據技術對整個社會經濟發展來説既是機遇也是挑戰。

(一)必要性

根據IDC在2011年6月發佈的《數字宇宙》(Digital Universe)研究報告，2011年全球新建和複製的信息量超過1.9 ZB(1.8萬億GB)，五年時間增加了近九倍。隨着數據量的指數級增長、數據源種類(包括結構化數據源和非結構化數據源，如社交媒體、富媒體文件以及地理空間信息)的飛速增加，以及數據產生速度的加快(如實時傳感器數據)，傳統的數據庫和架構無法處理、管理和分析如此龐大的數據集。政府、金融、電信、互聯網等大數據應用的行業先鋒目前均面臨大數據的問題。不僅如此，隨着物聯網、雲計算、移動互聯網、車聯網、智能手機、平板電腦的飛速發展，大數據技術擁有了更為廣泛的數據資源。因此，IT產業界及行業用户都亟需針對大數據設計和優化大數據存儲、管理和查詢平台，來替代傳統關係型數據庫平台。在技術發展的前沿階段進行實驗平台建設對我學院師生具有重要意義。

該實驗平台能夠為學生提供一個瞭解最前沿技術的機會，不僅能夠提高學生學習興趣、自學能力，還為學生就業、更好地規劃未來的職業發展提供了機會。大數據技術的機遇與挑戰帶來了很大的人才缺口，目前大數據技術平台開發、方案實施人才緊缺;由於雲存儲、大數據技術帶來的信息安全問題，也亟需大量信息安全領域的人才;由於大數據技術在物聯網、電子商務、移動互聯方面的應用，對了解大數據技術的電子商務專業人才也更青睞。通過本實驗平台的培養，感興趣的優秀學生還可以嘗試考取與大數據技術密切相關的Hadoop專業認證——Cloudera Certified Developer/Administrator for Apache Hadoop，為學校、學院在該領域帶來正面影響，增加更多合作和就業的機會。

該實驗平台能夠為信息系統專業試點班培養計劃的很多核心課程(包括管理統計學中的業務報表與分析、商務智能方法與應用、商務智能實踐、數據挖掘和BA綜合實訓等)形成較好的前後銜接關係，能夠豐富實踐教學環節，深化教學大綱的內容，從建設更合理的課程建設體系來説具有很大的必要性。

近幾年學生就業壓力越來越大，迫切需要對教學內容和實踐環節不斷突破創新，才能具備持續發展能力。因此在原有課程體系和實踐教學環境的基礎上增設本實驗平台非常必要。

(二)可行性

教學計劃中的相關程序設計課程為學生學習雲存儲技術、熟悉大數據開發平台、瞭解最新大數據技術的發展、進行大數據平台基礎上的開發、實現對大數據的分析、可視化演示打好了基礎。

英特爾Apache Hadoop平台是目前大多數大數據處理的技術基礎，目前該技術已經發展成熟，並隨之產生很多基於該平台的大數據處理工具，可供實驗室建設實驗平台使用。

三、建立大數據實驗平台的基本構想

(一)實驗平台人員

實驗平台人員負責實驗平台的建設、維護，實驗設計與指導人員由在大數據相關領域、課程建設以及實踐教學方面都有着豐富的經驗的教師與實驗室工作人員構成，同時與大數據企業進行合作，獲得其核心技術人員的支持、培訓和大力配合，可以共同組成一個經驗豐富、精煉實幹的建設團隊。

(二)軟件調研

大數據的特點為4個“V”：第一，“Volume”，指的數據量大，包括大的數據塊，或數據總量巨大，從TB躍升到PB;第二，“Variety”，指的是數據種類繁多，包含大量非結構化數據，例如網絡日誌、音頻、視頻、地理信息等;第三，“Value”，價值稀疏性，大量數據中有價值數據很少;第四，“Velocity”，指的是處理速度快，這與傳統數據挖掘有很大區別。選擇有數據分析基礎、在業內發展領先的企業進行調研並選擇適合高校規模的合作企業是建立實驗平台的重要工作。

很多公司給出了可供使用的大數據平台：IBM?誖 InfoSphere?誖BigInsightsTMBasic Edition是一款基於開放源碼Apache Hadoop的分析平台，用於分析大量本機格式的非常規數據，支持結構化、半結構化和非結構化內容，以實現最大程度的靈活性;IBM?誖InfoSphere?誖 Streams是一個高級計算平台，幫助用户開發的應用程序快速攝取、分析和關聯來自數千個實時源的信息;惠普公司Vertica分析平台6.1，能夠通過Hadoop分佈式文件系統連接器來優化大數據;ClearStory Data大數據分析新創公司，通過Clearstory，公司客户可以將自身的數據與行業的公共數據融合，尋找統計上的新視角，目標是取代目前市場上的主流數據可視化工具，包括QlikView和Tableau等老牌工具;Informatica 9.1提供首款Hadoop編譯器Hparse，這是一種針對Hadoop而優化的數據轉換環境，該軟件支持靈活高效地處理Hadoop裏面的任何文件格式，為Hadoop開發人員提供了即開即用的解析功能，以便處理複雜而多樣的數據源;Datameer：Hadoop海量數據分析平台允許用户在缺乏技術知識的情況下能夠分析大量數據;Infochimps平台以其完備的基礎設施和專業知識，為客户提供端到端的大數據解決方案，Infochimps是一家位於美國德克薩斯州奧斯丁的創業公司，2012年2月從數據市場轉型為大數據平台提供商後獲得谷歌投資;甲骨文大數據機——Oracle Big Data Appliance集成系統融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個開源R;微軟SQL Server新增PDW功能，可以幫助客户擴展部屬數百TB級別數據的分析解決方案;亞馬遜將MapReduce作為一項服務，其彈性MapReduce編程是一項能夠迅速擴展的Web服務，運行在aws的亞馬遜彈性計算雲和亞馬遜簡單存儲服務上;Teradata是企業級數據倉庫(EDW)的領導者，在結構化數據、半結構化數據和大部分非結構化數據領域幾乎沒有很大成果，因此收購了Aster Data——一家提供SQL-MapReduce框架的公司。Aster Data是高級分析和管理各種非結構化數據領域的市場領導者和開拓者，為Teradata帶來了大數據分析市場商機。

(三)方案實施

實驗平台的設計同時立足於大數據技術的發展的前沿性與本學院學生專業特點，與學生前序的理論、實踐課程均有良好的銜接，符合人才培養計劃，深化了教學大綱的內容，並針對不同專業學生設計實踐學時、內容和難度。

本實驗平台可以同大數據行業中的公司科研部門共同合作建設，雙方確定在人才培養、師資培訓、共建實驗室和實訓基地、推動大學生校外實習和社會實踐活動的開展等方面開展全面、廣泛、長期、深入的合作。該實驗室建設將豐富實踐教學體系，也可推動學院科研項目立項、新課題研究、專項基金申請和聯合開展商用項目開發等;該實驗室使師生能接觸高新大數據開發平台，瞭解最新大數據技術的發展，進行大數據平台的開發，實現對大數據的分析、可視化演示，增強學生的動手能力並提升就業質量;與此同時，提升了教師的項目管理能力和教學能力。

四、結論

實踐教學平台建設是一項可以推動課程建設和專業建設的可行工作，在轉變觀念、定位於應用型人才培養的今天，實踐教學平台的建設更是一項必須的工作，而一個高水平的實驗平台可以為教師們的教學和科研活動提供良好的物質保證，經過大數據平台建設可以使課程建設工作再上一個台階，同時也會使教師們的研究水平更上一個台階。