《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 設(shè)計(jì)應(yīng)用 > 基于Flink框架的TopN堆排序優(yōu)化算法
基于Flink框架的TopN堆排序優(yōu)化算法
2020年信息技術(shù)與網(wǎng)絡(luò)安全第2期
關(guān)沫,魏碧晴
(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,遼寧 沈陽(yáng) 110870)
摘要: 為了解決大數(shù)據(jù)TopN排序問(wèn)題,將傳統(tǒng)的堆排序進(jìn)行優(yōu)化,闡述了優(yōu)化后的HeapOptimize方法的處理過(guò)程。HeapOptimize方法基于Flink框架來(lái)完成TopN作業(yè),可以實(shí)時(shí)地接收并處理大量的數(shù)據(jù),根據(jù)單位時(shí)間需要處理的數(shù)據(jù)數(shù)量來(lái)調(diào)整算子的并行度,增加Flink框架的吞吐量,提高處理數(shù)據(jù)的速度。通過(guò)實(shí)驗(yàn)測(cè)量的數(shù)據(jù)結(jié)果佐證了HeapOptimize方法的優(yōu)勢(shì)。
中圖分類(lèi)號(hào):TP311.13
文獻(xiàn)標(biāo)識(shí)碼:A
DOI:10.19358/j.issn.2096-5133.2020.02.005
引用格式:關(guān)沫,魏碧晴.基于Flink框架的TopN堆排序優(yōu)化算法[J].信息技術(shù)與網(wǎng)絡(luò)安全,2020,39(2):23-26.
Flinkbased heap ranking optimization algorithm for TopN problem
Guan Mo,Wei Biqing
(School of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China)
Abstract: In order to solve the problem of TopN sorting for big data,the traditional heap sorting is optimized.The optimized method is named HeapOptimize,and the calculation process of HeapOptimize method is described.This method is based on Flink framework to complete TopN operations.It can receive and process large amounts of data in real time.It can adjust the parallelism of operators according to the number of data to be processed per unit time,increase the throughput of Flink framework,and improve the speed of data processing.The advantage of HeapOptimize method is confirmed by the data results of experimental measurement.
Key words : big data;TopN;Flink;throughput

0     引言

隨著計(jì)算機(jī)技術(shù)和信息科技的快速發(fā)展,全球的數(shù)據(jù)量急劇增長(zhǎng),2015年全球的數(shù)據(jù)總量達(dá)到8.61 ZB,預(yù)估2020年全球的數(shù)據(jù)總量會(huì)超過(guò)40 ZB。通過(guò)移動(dòng)互聯(lián)網(wǎng)、社交媒體等服務(wù)模式,大數(shù)據(jù)產(chǎn)業(yè)已滲透到人們生活的各個(gè)方面,并且數(shù)據(jù)價(jià)值的時(shí)效性越來(lái)越重要,集群必須以毫秒級(jí)的延遲從大規(guī)模的數(shù)據(jù)中提煉有價(jià)值的信息。

TopN問(wèn)題就是從許多的數(shù)值選出前N個(gè)最大或者最小的數(shù)值有序排好,最常見(jiàn)的應(yīng)用于微博熱搜榜、歌曲人氣榜、投票選舉等。由此可見(jiàn)利用大數(shù)據(jù)技術(shù)和計(jì)算機(jī)技術(shù)能輕松解決傳統(tǒng)排序問(wèn)題。如微博熱搜榜,需要實(shí)時(shí)更新點(diǎn)擊量并按其從大到小的順序排列。而使用流計(jì)算框架Flink來(lái)解決TopN問(wèn)題可以滿(mǎn)足其實(shí)時(shí)性和低延遲的要求。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://m.jysgc.com/resource/share/2000003154





作者信息:

關(guān)沫,魏碧晴

(沈陽(yáng)工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院,遼寧 沈陽(yáng) 110870)


此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
国产精品99免费看| 国产亚洲aⅴaaaaaa毛片| 欧美亚洲在线视频| 亚洲午夜在线观看| 一卡二卡3卡四卡高清精品视频| 亚洲国产中文字幕在线观看| 久久激情婷婷| 久久国产精品久久精品国产| 欧美亚洲网站| 欧美一区二区三区播放老司机| 亚洲女性裸体视频| 亚洲一区免费| 亚洲一区二区在| 亚洲综合精品自拍| 午夜国产欧美理论在线播放 | 亚洲人成欧美中文字幕| 亚洲国产成人av在线| 亚洲黄页一区| 亚洲美女精品一区| av不卡在线| 亚洲图片自拍偷拍| 亚洲免费网址| 久久岛国电影| 亚洲啪啪91| 亚洲视频欧洲视频| 亚洲欧美日韩中文在线制服| 亚洲免费影视| 欧美一区二区三区另类| 久久精品国产v日韩v亚洲| 久久天堂国产精品| 欧美成人精品影院| 欧美喷潮久久久xxxxx| 欧美四级在线| 国产亚洲aⅴaaaaaa毛片| 怡红院av一区二区三区| 亚洲激情视频在线播放| 一区二区三区精品视频在线观看| 一区二区三区四区在线| 亚洲综合色网站| 久久精品亚洲一区二区| 一本一本a久久| 亚洲欧美日本伦理| 久久国产黑丝| 欧美国产精品| 国产精品你懂的在线欣赏| 国产婷婷一区二区| 亚洲国产片色| 亚洲一区视频在线| 亚洲第一在线综合网站| 99视频精品全国免费| 午夜日韩激情| 欧美成人官网二区| 国产精品v欧美精品v日本精品动漫| 国产一区三区三区| 亚洲国产精品一区二区第四页av| 亚洲美女视频| 久久国产精品久久国产精品 | 久久免费视频一区| 欧美日本精品一区二区三区| 国产精品爽黄69| 亚洲国产美女| 亚洲欧美www| 亚洲精品久久久久久一区二区| 亚洲男人的天堂在线aⅴ视频| 久久久天天操| 欧美性猛交xxxx乱大交退制版| 国产亚洲一本大道中文在线| 亚洲精品一区二区网址| 香蕉久久a毛片| 一区二区三区四区五区精品视频| 久久成人av少妇免费| 欧美久久久久久久久| 国产日韩在线视频| 亚洲精品免费在线播放| 欧美在线一区二区三区| 亚洲一级黄色| 乱人伦精品视频在线观看| 国产精品久久999| 亚洲国产欧美另类丝袜| 午夜在线一区二区| 99在线视频精品| 久久亚洲高清| 国产精品人成在线观看免费| 亚洲国产欧美一区二区三区丁香婷| 午夜精品久久久久久久99樱桃 | 久久综合伊人77777| 国产精品欧美风情| 亚洲精品永久免费| 亚洲黄色性网站| 久久久精品国产免费观看同学| 欧美日韩一区二区在线视频 | 99re热这里只有精品视频| 久久精品国产清高在天天线| 欧美午夜不卡| 亚洲欧洲视频在线| 久久精品视频亚洲| 欧美一级在线视频| 国产精品v日韩精品| 亚洲美洲欧洲综合国产一区| 亚洲国产影院| 久热精品视频在线观看| 国产在线日韩| 欧美亚洲一区三区| 午夜精品福利一区二区蜜股av| 欧美日韩裸体免费视频| 91久久在线观看| 亚洲美女av电影| 欧美jizzhd精品欧美巨大免费| 国内视频一区| 久久精品国产在热久久| 亚洲成色999久久网站| 欧美一进一出视频| 香蕉国产精品偷在线观看不卡 | 国产精品福利在线| 99精品国产在热久久| 99精品国产在热久久| 欧美激情2020午夜免费观看| 午夜精品久久久久99热蜜桃导演| 亚洲女与黑人做爰| 香蕉久久夜色精品国产| 国产精品美女xx| 亚洲一区bb| 午夜影院日韩| 国产欧美va欧美不卡在线| 亚洲综合色在线| 欧美一区精品| 国产日韩高清一区二区三区在线| 亚洲欧美亚洲| 久久精品99国产精品日本| 国产亚洲欧美在线| 亚洲成色www8888| 久久这里只有| 亚洲国产精品专区久久| 99视频日韩| 欧美性开放视频| 亚洲在线不卡| 久久精品成人| 精品av久久久久电影| 亚洲激情电影在线| 欧美激情国产日韩| 99国产精品视频免费观看一公开| 一区二区三区日韩精品视频| 欧美午夜激情视频| 亚洲在线不卡| 国产欧美日韩不卡免费| 影音国产精品| 日韩视频在线观看免费| 欧美三日本三级少妇三2023| 一区二区三区视频在线| 欧美影院在线| 韩国av一区二区三区在线观看| 亚洲国产精品久久久| 欧美激情精品久久久六区热门 | 亚洲一区二区三区四区五区午夜| 国产精品地址| 欧美影院在线| 欧美国产在线电影| 一区二区免费在线观看| 亚洲毛片播放| 国产精品久久久久久久9999| 亚洲伊人网站| 国产日韩欧美日韩| 亚洲电影观看| 欧美日韩国产综合视频在线观看中文 | 国产精品一区二区三区免费观看 | 亚洲午夜激情免费视频| 欧美在线免费视屏| 亚洲经典在线| 亚洲国产一区二区三区青草影视| 欧美另类69精品久久久久9999| 亚洲视频axxx| 老司机免费视频一区二区| 亚洲精品一区二区三区不| 性欧美大战久久久久久久久| 国产专区综合网| 一本色道久久综合精品竹菊| 国产精品视频在线观看| 亚洲精品乱码久久久久久蜜桃91| 国产精品成人一区二区网站软件| 欧美一区二区三区在线观看视频| 欧美激情麻豆| 香蕉久久国产| 欧美日韩一级大片网址| 久久xxxx| 欧美偷拍一区二区| 亚洲福利在线观看| 国产精品免费福利| 亚洲人成网在线播放| 国产精品你懂的在线欣赏| 亚洲人成啪啪网站| 国产视频丨精品|在线观看| 亚洲美女中文字幕| 国产亚洲日本欧美韩国| 亚洲一区精品在线| 在线观看欧美日韩| 性做久久久久久免费观看欧美| 亚洲电影在线观看| 久久黄色小说| 一二三区精品福利视频| 欧美a级片一区|