中關村能源工程智能裝備產業技術研究院
Institute of energy engineering intelligent equipment technology
江苏十一选五开奖走势

大數據技術開發案例展示平臺

作者:    發布時間:2017-12-04

大數據分析已經在各個行業得到了重點關注是當前的研究和教學熱點本成果技術來源于我校計算機系大數據技術研發組在多年的大數據教學科研活動下完成的成果立足于分布式計算環境和編程方法以技術案例方式展示大數據的預處理、數據挖掘可視化分析過程內容豐富界面直觀每個案例都有對應的大規模數據集具有真實的工程背景。平臺環境基于Hadoop系統,兼顧了SparkMahout算法庫。編程實例中包括了JavaPythonR語言,適應不同教學和科研需求為了確保案例庫的順利運行專門研制了一套大數據案例庫管控系統能夠實現案例的提交查詢修改和刪除同時,設置了權限管理機制,對案例的使用情況和測評結果進行輸出并以網頁可視化方式展示和反饋給各級用戶。

目前已經完成了案例管控系統的原型設計,部分案例已經在研究生培養和本科生科研指導中得到應用測試環境利用了學科建設提供的大數據一體機和網絡系統。

創新點有3個方面:

1)所有案例都在Hadoop大數據系統中測試運行具有分 布式計算特點;

2)技術案例具有原創性,為用戶選擇三種不同的編程語言和案例參照(JavaPythonR語言

3)自主設計的管控系統,功能實用,針對性強。 本成果的案例是在真正的分布式計算環境中運行用戶只需要提交程序即可測試運行結果可以遠程瀏覽用戶還能 夠參照案例庫進行學習和改進實用性強現有同類大數據 實驗教學系統或科研系統一般只具備一種編程語言且缺 乏案例庫管理功能多數案例只能再單機下運行不具備分 布式計算特點。