a国产,中文字幕久久波多野结衣AV,欧美粗大猛烈老熟妇,女人av天堂

當(dāng)前位置:主頁 > 科技論文 > 計算機(jī)論文 >

Hadoop和Spark在實驗室中部署與性能評估

發(fā)布時間:2018-06-07 09:02

  本文選題:大數(shù)據(jù) + 分布式計算; 參考:《實驗室研究與探索》2015年11期


【摘要】:隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,數(shù)據(jù)量成爆炸性增長趨勢,單機(jī)難以存儲、組織和分析這些海量數(shù)據(jù)。面對單機(jī)難以處理海量數(shù)據(jù)的現(xiàn)狀,建立分布式計算平臺對于今后科研工作和實驗教學(xué)具有重要的意義。就如何在實驗室環(huán)境下搭建分布式計算平臺做了詳細(xì)說明并對hadoop和spark的性能進(jìn)行比較,包括Hadoop和Spark集群的安裝和部署,Spark集成開發(fā)環(huán)境的建立,同一組數(shù)據(jù)集在兩個平臺上進(jìn)行Kmeans聚類的時間對比。對于建設(shè)分布式計算平臺具有一定的指導(dǎo)意義。
[Abstract]:With the development of Internet technology, the amount of data is increasing explosively, and it is difficult to store, organize and analyze the huge amount of data on a single computer. In the face of the current situation that it is difficult to deal with massive data on a single computer, it is of great significance to establish a distributed computing platform for scientific research and experimental teaching in the future. This paper describes how to build a distributed computing platform in laboratory environment and compares the performance of hadoop and spark, including the installation and deployment of Hadoop and Spark clusters and the establishment of an integrated development environment for Spark. The Kmeans clustering time of the same data set is compared on two platforms. It has certain guiding significance for the construction of distributed computing platform.
【作者單位】: 南京信息工程大學(xué)電子與信息工程學(xué)院;
【基金】:國家自然科學(xué)基金項目(61203273) 江蘇省自然科學(xué)基金項目(BK20141004) 南京信息工程大學(xué)大學(xué)生實踐創(chuàng)新訓(xùn)練計劃項目(201410300175)
【分類號】:TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 陳慧芬;盧慶武;;云計算在高校機(jī)房管理中的應(yīng)用[J];實驗室研究與探索;2013年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李琳;;基于云計算的高校機(jī)房管理方法探究[J];電腦知識與技術(shù);2013年36期

2 王孟;廖云;;高校機(jī)房管理策略及創(chuàng)新[J];廣東化工;2014年16期

3 徐輝;趙敏;;開源云計算平臺構(gòu)建機(jī)房虛擬云桌面的實現(xiàn)[J];廣東技術(shù)師范學(xué)院學(xué)報;2014年11期

4 程冉;;虛擬桌面技術(shù)在實驗室管理中的應(yīng)用[J];計算機(jī)光盤軟件與應(yīng)用;2015年01期

5 陳小君;蘇寶璽;;基于開放式的高校機(jī)房管理現(xiàn)狀、問題及對策分析[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2015年13期

6 姚燦輝;;云計算技術(shù)在高校機(jī)房實驗室管理中的應(yīng)用[J];信息通信;2014年11期

7 陸剛蘭;;云計算技術(shù)在高校實驗室管理中的應(yīng)用[J];科技與創(chuàng)新;2015年03期

8 郭少輝;;云環(huán)境下公共計算機(jī)機(jī)房信息安全策略研究[J];軟件導(dǎo)刊(教育技術(shù));2014年08期

9 董啟貴;;云計算技術(shù)在高校機(jī)房管理中的應(yīng)用[J];通訊世界;2015年01期

10 肖濤;何懷文;梁瑞仕;;桌面云在高校計算機(jī)實驗室中的應(yīng)用[J];實驗室科學(xué);2015年01期

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 鄔曉明;丁怡;;新型還原卡在高校機(jī)房的應(yīng)用[J];電腦知識與技術(shù);2010年33期

2 汪來富;沈軍;金華敏;;云計算應(yīng)用安全研究[J];電信科學(xué);2010年06期

3 盧植衡;劉蘭淇;;機(jī)房硬盤保護(hù)卡系統(tǒng)維護(hù)的技術(shù)實踐[J];煤炭技術(shù);2012年01期

4 郜激揚(yáng);;穿透硬盤還原卡的病毒分析與預(yù)防[J];實驗技術(shù)與管理;2009年08期

5 王玉芬;郭曉娟;;云計算對高校教學(xué)資源影響解析[J];實驗技術(shù)與管理;2010年05期

6 許克勤;;硬盤保護(hù)卡的破解測試及對策[J];實驗技術(shù)與管理;2010年06期

7 鄒利民;;幾種硬盤還原卡的性能比較[J];實驗室研究與探索;2006年08期

8 林瑜華;;云計算環(huán)境下高校實驗教學(xué)模式的創(chuàng)新與實踐[J];實驗室研究與探索;2011年08期

9 魏建琳;;還原卡的原理解讀與漏洞分析[J];西安文理學(xué)院學(xué)報(自然科學(xué)版);2010年04期

10 韋華昌;;論云計算環(huán)境下民族高校圖書館特色資源建設(shè)[J];西南民族大學(xué)學(xué)報(人文社會科學(xué)版);2012年02期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期

2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務(wù);2012年10期

3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期

4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設(shè)計方案[J];黑龍江史志;2014年01期

5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型[J];計算機(jī)系統(tǒng)應(yīng)用;2014年05期

6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期

7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機(jī)與網(wǎng)絡(luò);2013年08期

8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學(xué);2010年12期

9 蘇小會;何婧媛;;Hadoop中任務(wù)調(diào)度算法的改進(jìn)[J];電子設(shè)計工程;2012年22期

10 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(自然科學(xué)版);2012年01期

相關(guān)重要報紙文章 前8條

1 本報記者 郭濤;機(jī)器大數(shù)據(jù)也離不開Hadoop[N];中國計算機(jī)報;2013年

2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年

3 本報記者 鄒大斌;Hadoop一體機(jī)降低大數(shù)據(jù)門檻[N];計算機(jī)世界;2012年

4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機(jī)世界;2011年

5 樂天 編譯;Hadoop:打開大數(shù)據(jù)之門的金鑰匙[N];計算機(jī)世界;2012年

6 范范 編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡(luò)世界;2013年

7 波波 編譯;Hadoop、Web 2.0為磁帶帶來新商機(jī)[N];網(wǎng)絡(luò)世界;2013年

8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機(jī)報;2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學(xué);2015年

2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡(luò)分析與建模[D];浙江大學(xué);2015年

3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學(xué);2015年

4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學(xué);2015年

5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設(shè)計與實現(xiàn)[D];大連海事大學(xué);2015年

6 高仲峰;基于Hadoop平臺的橋梁結(jié)構(gòu)健康監(jiān)測系統(tǒng)的應(yīng)用[D];西安科技大學(xué);2012年

7 張麗云;基于Hadoop的企業(yè)知識管理系統(tǒng)的主要功能的研究與實現(xiàn)[D];東北師范大學(xué);2014年

8 夏志剛;基于Hadoop的數(shù)字大棚云系統(tǒng)的設(shè)計和實現(xiàn)[D];大連理工大學(xué);2014年

9 楊寧;基于Hadoop平臺的廣告檢測系統(tǒng)研究與實現(xiàn)[D];復(fù)旦大學(xué);2012年

10 張興平;基于Hadoop的微博用戶情感分類研究與實現(xiàn)[D];西安電子科技大學(xué);2014年

,

本文編號:1990621

資料下載
論文發(fā)表

本文鏈接:http://www.wukwdryxk.cn/kejilunwen/jisuanjikexuelunwen/1990621.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶e91ee***提供,本站僅收錄摘要或目錄,作者需要刪除請E-mail郵箱bigeng88@qq.com
久久导航| 成人无码影片精品久久久| 亚洲精品9999久久久久精品| 精品a区| 精品久久人妻av中文字幕| 国产精品第一区揄拍| 枣阳市| 性高湖久久久久久久久aaaaa| 69人妻精品久久无人专区| 国产女人18毛片水多18精品| 男女爱爱网站| 天堂av片| 欧美爱| 亚洲性片| 国产精品偷乱一区二区三区 | 最新无码国产在线播放| 久久久久久AV无码免费看大片| 色悠久久久久久久综合网伊人| 小妖精又紧又湿高潮H视频69| 欧美XXXX性BBBBB喷水| 国产欧美一区二区三区沐欲| 亚洲精品一区二区三区中文字幕 | 日韩1区2区3区| 国产精品国产精品国产专区蜜臀ah| 久久黄色网| 亚洲精品色| 在线婷婷| 91久久综合| 色老头oldmanvideos| 蜜臀一区二区三区精品免费视频| 五月天综合在线| 精品欧美黑人一区二区三区| 夜色影视| 熟女麻豆一区二区三区四区| 精品人妻伦一二三区久久| 国产自拍一区| 三穗县| 久久久久久久精品免费看| 国产裸体歌舞一区二区| 亚洲国产成人影院在线播放| 亚洲综合无码无在线观看|