發(fā)布時間：2018-06-07 09:02

  本文選題：大數(shù)據(jù) + 分布式計算��； 參考：《實驗室研究與探索》2015年11期

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)量成爆炸性增長趨勢,單機(jī)難以存儲、組織和分析這些海量數(shù)據(jù)。面對單機(jī)難以處理海量數(shù)據(jù)的現(xiàn)狀,建立分布式計算平臺對于今后科研工作和實驗教學(xué)具有重要的意義。就如何在實驗室環(huán)境下搭建分布式計算平臺做了詳細(xì)說明并對hadoop和spark的性能進(jìn)行比較,包括Hadoop和Spark集群的安裝和部署,Spark集成開發(fā)環(huán)境的建立,同一組數(shù)據(jù)集在兩個平臺上進(jìn)行Kmeans聚類的時間對比。對于建設(shè)分布式計算平臺具有一定的指導(dǎo)意義。
[Abstract]:With the development of Internet technology, the amount of data is increasing explosively, and it is difficult to store, organize and analyze the huge amount of data on a single computer. In the face of the current situation that it is difficult to deal with massive data on a single computer, it is of great significance to establish a distributed computing platform for scientific research and experimental teaching in the future. This paper describes how to build a distributed computing platform in laboratory environment and compares the performance of hadoop and spark, including the installation and deployment of Hadoop and Spark clusters and the establishment of an integrated development environment for Spark. The Kmeans clustering time of the same data set is compared on two platforms. It has certain guiding significance for the construction of distributed computing platform.
【作者單位】： 南京信息工程大學(xué)電子與信息工程學(xué)院;
【基金】：國家自然科學(xué)基金項目(61203273) 江蘇省自然科學(xué)基金項目(BK20141004) 南京信息工程大學(xué)大學(xué)生實踐創(chuàng)新訓(xùn)練計劃項目(201410300175)
【分類號】：TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳慧芬;盧慶武;;云計算在高校機(jī)房管理中的應(yīng)用[J];實驗室研究與探索;2013年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李琳;;基于云計算的高校機(jī)房管理方法探究[J];電腦知識與技術(shù);2013年36期

2 王孟;廖云;;高校機(jī)房管理策略及創(chuàng)新[J];廣東化工;2014年16期

3 徐輝;趙敏;;開源云計算平臺構(gòu)建機(jī)房虛擬云桌面的實現(xiàn)[J];廣東技術(shù)師范學(xué)院學(xué)報;2014年11期

4 程冉;;虛擬桌面技術(shù)在實驗室管理中的應(yīng)用[J];計算機(jī)光盤軟件與應(yīng)用;2015年01期

5 陳小君;蘇寶璽;;基于開放式的高校機(jī)房管理現(xiàn)狀、問題及對策分析[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2015年13期

6 姚燦輝;;云計算技術(shù)在高校機(jī)房實驗室管理中的應(yīng)用[J];信息通信;2014年11期

7 陸剛蘭;;云計算技術(shù)在高校實驗室管理中的應(yīng)用[J];科技與創(chuàng)新;2015年03期

8 郭少輝;;云環(huán)境下公共計算機(jī)機(jī)房信息安全策略研究[J];軟件導(dǎo)刊(教育技術(shù));2014年08期

9 董啟貴;;云計算技術(shù)在高校機(jī)房管理中的應(yīng)用[J];通訊世界;2015年01期

10 肖濤;何懷文;梁瑞仕;;桌面云在高校計算機(jī)實驗室中的應(yīng)用[J];實驗室科學(xué);2015年01期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄔曉明;丁怡;;新型還原卡在高校機(jī)房的應(yīng)用[J];電腦知識與技術(shù);2010年33期

2 汪來富;沈軍;金華敏;;云計算應(yīng)用安全研究[J];電信科學(xué);2010年06期

3 盧植衡;劉蘭淇;;機(jī)房硬盤保護(hù)卡系統(tǒng)維護(hù)的技術(shù)實踐[J];煤炭技術(shù);2012年01期

4 郜激揚(yáng);;穿透硬盤還原卡的病毒分析與預(yù)防[J];實驗技術(shù)與管理;2009年08期

5 王玉芬;郭曉娟;;云計算對高校教學(xué)資源影響解析[J];實驗技術(shù)與管理;2010年05期

6 許克勤;;硬盤保護(hù)卡的破解測試及對策[J];實驗技術(shù)與管理;2010年06期

7 鄒利民;;幾種硬盤還原卡的性能比較[J];實驗室研究與探索;2006年08期

8 林瑜華;;云計算環(huán)境下高校實驗教學(xué)模式的創(chuàng)新與實踐[J];實驗室研究與探索;2011年08期

9 魏建琳;;還原卡的原理解讀與漏洞分析[J];西安文理學(xué)院學(xué)報(自然科學(xué)版);2010年04期

10 韋華昌;;論云計算環(huán)境下民族高校圖書館特色資源建設(shè)[J];西南民族大學(xué)學(xué)報(人文社會科學(xué)版);2012年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設(shè)計方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計算機(jī)系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機(jī)與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會;何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計工程;2012年22期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

相關(guān)重要報紙文章 前8條

1 本報記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計算機(jī)報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計算機(jī)世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機(jī)世界;2011年

5 樂天　編譯;Hadoop：打開大數(shù)據(jù)之門的金鑰匙[N];計算機(jī)世界;2012年

6 范范　編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波　編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機(jī)報;2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學(xué);2015年

6 高仲峰;基于Hadoop平臺的橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)的應(yīng)用[D];西安科技大學(xué);2012年

7 張麗云;基于Hadoop的企業(yè)知識管理系統(tǒng)的主要功能的研究與實現(xiàn)[D];東北師范大學(xué);2014年

8 夏志剛;基于Hadoop的數(shù)字大棚云系統(tǒng)的設(shè)計和實現(xiàn)[D];大連理工大學(xué);2014年

9 楊寧;基于Hadoop平臺的廣告檢測系統(tǒng)研究與實現(xiàn)[D];復(fù)旦大學(xué);2012年

10 張興平;基于Hadoop的微博用戶情感分類研究與實現(xiàn)[D];西安電子科技大學(xué);2014年

，

本文編號：1990621