《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業(yè)界動態(tài) > 學術界關于HBase應用場景(物聯(lián)網(wǎng)/車聯(lián)網(wǎng)/電力等)研究大全

學術界關于HBase應用場景(物聯(lián)網(wǎng)/車聯(lián)網(wǎng)/電力等)研究大全

2017-10-12

  HBase在互聯(lián)網(wǎng)領域有廣泛的應用,比如:互聯(lián)網(wǎng)的消息系統(tǒng)的存儲、訂單的存儲、搜索原材料的存儲、用戶畫像數(shù)據(jù)的存儲等。得益于HBase海量的存儲量及超高并發(fā)寫入讀取量。HBase在09年就開始在工業(yè)界大范圍使用,在學術界,也有非常多的高校、機構在研究HBase應用于不同的行業(yè),本文主要梳理下這些資料(主要是中文資料,有一些是碩士論文\期刊),這些很多都在工業(yè)界使用了。大家也可以感覺下,HBase應用的方面還是非常多的。大家也可以看下是否的場景是否對應起來。 由于涉及到版權,我提供鏈接,不提供資源下載,請大家見諒。

2017092513271457.jpg

  HBase最主要的特性

  HBase基于HDFS,可以提供廉價的解決方案。在阿里云ApsaraDB for HBase會發(fā)布基于D1、I2的物理機方案,存儲成本為0.1元每GB每月左右,且可以在線動態(tài)添加節(jié)點,增加容量。 無需一次性投入全年的量。

  HBase容量可以無限擴容:在100T的數(shù)據(jù)量上毫無壓力,在1P的數(shù)據(jù)量上也類似。

  HBase提供超高的并發(fā)量:主要得益于系統(tǒng)的除了Master之外的所有節(jié)點都直接跟客戶端通信,且系統(tǒng)自動分區(qū)。有的系統(tǒng)會有一個路由中心,此會極大的限制并發(fā)量及流量

  跟Spark、hadoopMR等分析系統(tǒng)結合 關于 阿里云HBase產(chǎn)品的優(yōu)勢見:阿里云HBase優(yōu)勢

  行業(yè):

  物聯(lián)網(wǎng)行業(yè):

  基于HBase的大規(guī)模無線傳感網(wǎng)絡數(shù)據(jù)存儲系統(tǒng) : 無線傳感網(wǎng)絡(WSN)存在分布的跨區(qū)域性,隨著無線傳感網(wǎng)絡的擴張,傳感器數(shù)目增多,將產(chǎn)生大規(guī)模的傳感數(shù)據(jù).針對存儲大規(guī)模無線傳感網(wǎng)絡數(shù)據(jù)的問題,提出了一個兩層分布式存儲架構,使用分布式數(shù)據(jù)庫HBase存儲跨區(qū)域的無線傳感網(wǎng)絡數(shù)據(jù)和全局數(shù)據(jù)存儲管理目錄,實現(xiàn)一個近實時的存儲系統(tǒng).實驗結果證明,該系統(tǒng)有良好的擴展性、存儲和查詢效率.

  車聯(lián)網(wǎng):

  基于HBase的車聯(lián)網(wǎng)傳感數(shù)據(jù)管理系統(tǒng)設計 :關系型數(shù)據(jù)庫由于面向行存儲以及無法擴展等原因,已很難滿足大規(guī)模車聯(lián)網(wǎng)傳感數(shù)據(jù)的存儲與查詢要求.針對該問題,設計了一個基于非關系型數(shù)據(jù)庫HBase存儲的車聯(lián)網(wǎng)傳感數(shù)據(jù)管理系統(tǒng).該系統(tǒng)采用Hadoop與HBase搭建分布式實驗平臺,采用C#語言開發(fā)Web網(wǎng)頁端.通過與傳統(tǒng)關系型數(shù)據(jù)庫SQL Server的存儲與查詢效率進行對比分析,表明HBase在處理大規(guī)模車聯(lián)網(wǎng)傳感數(shù)據(jù)方面具有明顯優(yōu)勢.

  基于HBase的交通數(shù)據(jù)區(qū)域查詢方法 :隨著智能交通的發(fā)展,交通數(shù)據(jù)呈現(xiàn)出指數(shù)性增長.為了提升時空區(qū)域查詢性能,論文提出了一種基于HBase的交通數(shù)據(jù)區(qū)域查詢方法HRQ.該方法利用交通數(shù)據(jù)的三維時空特性,采用Geohash算法將交通數(shù)據(jù)的經(jīng)緯度信息轉(zhuǎn)為Geohash編碼,然后與時間組合作為HBase行鍵,并設計了相應的查詢算法.實驗結果表明,與直接組合經(jīng)緯度和時間作為行鍵的方法相比,在基于時間范圍的區(qū)域查詢上HRQ方法的性能要高30%以上,在基于區(qū)域范圍的區(qū)域查詢上HRQ的性能優(yōu)勢隨著查詢區(qū)域的增大而增加.

  交通

  基于HBase的交通流數(shù)據(jù)實時存儲系統(tǒng) :交通流數(shù)據(jù)具有多來源、高速率、體量大等特征,傳統(tǒng)數(shù)據(jù)存儲方法和系統(tǒng)暴露出擴展性弱和存儲實時性低等問題.針對上述問題,設計并實現(xiàn)了一套基于HBase交通流數(shù)據(jù)實時存儲系統(tǒng).該系統(tǒng)采用分布式存儲架構,通過前端的預處理操作對數(shù)據(jù)進行規(guī)范化整理,利用多源緩沖區(qū)結構對不同類型的流數(shù)據(jù)進行隊列劃分,并結合一致性哈希算法、多線程技術、行鍵優(yōu)化設計等策略將數(shù)據(jù)并行存儲到HBase集群服務器中.實驗結果表明:該系統(tǒng)與基于Oracle的實時存儲系統(tǒng)相比,其存儲性能提升了3~5倍;與原生的HBase方法相比,其存儲性能提升了2~3倍,并且具有良好的擴展性能.

  電力

  HBase 在智能電網(wǎng)異構數(shù)據(jù)同步中的應用:未來的智能電網(wǎng)在運行中將會產(chǎn)生海量的多態(tài)、異構數(shù)據(jù),對這些數(shù)據(jù)的可靠獲取、實時分析、同步及處理會給電網(wǎng)信息系統(tǒng)帶來前所未有的壓力。因此,把電網(wǎng)大數(shù)據(jù)遷移到云端—數(shù)據(jù)中心,來實現(xiàn)異構數(shù)據(jù)的精準、實時同步則顯得尤為必要。以解決未來智能電網(wǎng)大數(shù)據(jù)處理問題為出發(fā)點,通過對電網(wǎng)數(shù)據(jù)中心相關功能需求進行細致分析,對比傳統(tǒng)的關系型數(shù)據(jù)庫建模基礎,提出了基于Hbase架構的智能電網(wǎng)數(shù)據(jù)中心的解決方案。最后通過對比 MySQL 性能進行模擬測試,得出所提出的設計方案能夠很好地適用于未來智能電網(wǎng)數(shù)據(jù)中心的構建以及異構數(shù)據(jù)的同步,達到電網(wǎng)大數(shù)據(jù)的實時共享、監(jiān)測及準確分析、處理的目的,在未來智能電網(wǎng)信息管理系統(tǒng)中具有廣闊的應用前景。

  金融

  基于HBase的金融時序數(shù)據(jù)存儲系統(tǒng) : 設計并實現(xiàn)了1個基于HBase的金融時序數(shù)據(jù)的存儲系統(tǒng)。設計了基于金融時序數(shù)據(jù)的HBase預分區(qū)策略,可解決HBase存儲熱點的問題;采用了行鍵優(yōu)化策略和基于時序數(shù)據(jù)的表設計策略,可解決數(shù)據(jù)存儲分散的問題;使用了提供異步處理機制的事件驅(qū)動的Netty框架所編寫的中間件接收采集器發(fā)送的請求,可解決高并發(fā)事務的處理問題。實驗結果表明,與HBase原生方法相比,該系統(tǒng)的性能在處理高并發(fā)事務時更好。

  航空

  基于HBase的民用航空發(fā)動機大數(shù)據(jù)管理系統(tǒng) : 為克服傳統(tǒng)關系型數(shù)據(jù)庫存儲管理海量航空發(fā)動機狀態(tài)監(jiān)控數(shù)據(jù)的不足,本研究提出了基于HBase的民用航空發(fā)動機大數(shù)據(jù)管理系統(tǒng).首先分析了該系統(tǒng)的功能需求,給出了系統(tǒng)整體架構與模塊設計,并對關鍵技術進行了闡述.最后設計試驗對比HBase與Oracle的搜索效率.試驗結果表明檢索結果集較大時HBase的搜索效率明顯高于Oracle.本研究中提出的航空發(fā)動機大數(shù)據(jù)管理系統(tǒng)為發(fā)動機海量數(shù)據(jù)的存儲管理提供了一種解決方案.

  小文件存儲(圖片視頻等)

  一種基于HBase的海量圖片存儲技術 針對海量圖片存儲,已有若干個基于Hadoop的方案被設計出來.這些方案在系統(tǒng)層小文件合并、全局名字空間以及通用性方面存在不足.本文基于HBase提出了一種海量圖片存儲技術,成功解決了上述問題.本文將介紹基于HBase海量圖片存儲技術方案,分析其原理及優(yōu)勢,該方案在城市交通監(jiān)控中得到應用驗證.

  基于 HBase 的小文件高效存儲方法 :基于 Hadoop 平臺的相關系統(tǒng)得到了廣泛應用。Hadoop 分布式文件系統(tǒng)(Hadoop distributed file system, HDFS)通過分布式的工作方式,負責處理海量文件數(shù)據(jù)。對 HDFS 而言,海量數(shù)據(jù)中的小文件存儲問題制約著系統(tǒng)高效工作的能力。針對海量數(shù)據(jù)中小文件讀寫效率低的情況,提出一種基于 HBase(Hadoop database)的海量小文件高效存儲方法,利用 HBase 的存儲優(yōu)勢,將小文件直接存儲于 HBase,從而有效減少元數(shù)據(jù)節(jié)點服務器(Name-Node)的負載,并對上層應用系統(tǒng)提供透明的訪問接口。實驗結果表明,該方法可以實現(xiàn)海量小文件的高效存儲,提高 HDFS 環(huán)境下小文件的讀寫效率。


本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權者。如涉及作品內(nèi)容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲午夜精品国产| 欧美精品午夜| 一区二区三区黄色| 亚洲人成欧美中文字幕| 亚洲成人在线视频网站| 久久国产欧美精品| 久久成人这里只有精品| 久久成人精品电影| 欧美中文在线视频| 欧美综合77777色婷婷| 久久av最新网址| 久久精品国产精品亚洲综合| 久久超碰97人人做人人爱| 欧美一区二区三区在线观看视频| 午夜精品久久久久| 欧美一区二区视频在线观看2020 | 999亚洲国产精| 99国产麻豆精品| 中文精品视频一区二区在线观看| 一区二区三区欧美成人| 亚洲视频香蕉人妖| 亚洲欧洲av一区二区三区久久| 亚洲欧美久久久| 久久国产精品毛片| 麻豆精品视频在线观看| 欧美国产先锋| 国产精品二区在线| 国产色综合天天综合网| 极品av少妇一区二区| 亚洲高清在线视频| 一本久久a久久精品亚洲| 亚洲与欧洲av电影| 久久av二区| 99视频一区二区三区| 亚洲永久免费精品| 久久久久久夜| 欧美精品一区二| 国产精品夜夜夜一区二区三区尤| 国产亚洲一区精品| 91久久精品美女| 亚洲一区二区三区在线视频 | 欧美伊人久久久久久午夜久久久久 | 亚洲精品一区二区三区不| 亚洲精一区二区三区| 亚洲香蕉伊综合在人在线视看| 亚洲一区二区精品在线观看| 欧美一区二区大片| 欧美+亚洲+精品+三区| 欧美日韩综合| 国产尤物精品| 日韩视频精品| 欧美伊人精品成人久久综合97| 亚洲精品麻豆| 欧美在线观看视频在线| 欧美高清视频一区二区| 国产精品毛片一区二区三区| 国产中文一区| 洋洋av久久久久久久一区| 久久国产直播| 亚洲视频电影图片偷拍一区| 久久婷婷影院| 国产精品va在线| 在线精品福利| 亚洲欧美国产日韩天堂区| 亚洲狠狠婷婷| 亚洲欧洲av一区二区三区久久| 农村妇女精品| 国产日韩欧美一区在线 | 国产精品综合色区在线观看| 亚洲破处大片| 久久成人精品无人区| 亚洲综合二区| 欧美激情一区三区| 国内在线观看一区二区三区| 亚洲免费高清视频| 亚洲欧洲精品一区| 久久精品动漫| 国产精品久久久久久久久久妞妞| 亚洲激情视频在线| 亚洲大胆美女视频| 午夜在线不卡| 欧美日韩在线观看视频| 亚洲第一成人在线| 欧美在线免费视屏| 亚洲欧美日韩区| 欧美色大人视频| 最新国产乱人伦偷精品免费网站| 欧美一区二区私人影院日本| 午夜精品一区二区三区四区| 欧美日韩国产美女| 亚洲国产成人av| 亚洲动漫精品| 久久精品综合网| 国产欧美二区| 亚洲系列中文字幕| 亚洲午夜羞羞片| 欧美日韩色一区| 亚洲靠逼com| 日韩午夜在线视频| 蜜桃久久精品乱码一区二区| 国内自拍亚洲| 欧美在线日韩| 欧美亚洲一区二区在线| 国产精品日韩精品| 一本色道久久综合亚洲二区三区 | 欧美日韩国产小视频在线观看| 极品av少妇一区二区| 欧美在线视频免费观看| 欧美中文字幕视频| 国产日韩欧美麻豆| 午夜精品一区二区三区四区 | 国产日韩欧美精品在线| 在线中文字幕不卡| 亚洲影院在线| 国产精品乱子乱xxxx| 亚洲视频在线二区| 亚洲愉拍自拍另类高清精品| 欧美日韩一区二区三区高清| av成人国产| 亚洲在线1234| 国产精品毛片在线看| 亚洲欧美成人一区二区三区| 午夜精品久久久久久久久| 国产精品久久久久久久久久尿 | 欧美在线视频播放| 国产欧美日韩麻豆91| 午夜精品免费| 久久久久国产精品麻豆ai换脸| 国产一区在线观看视频| 久久国产精品网站| 免费一级欧美片在线播放| 亚洲成人在线网| 亚洲精品一区久久久久久| 欧美精品手机在线| aaa亚洲精品一二三区| 亚洲永久免费av| 国产日韩欧美不卡| 欧美一区二区三区在线观看| 久久综合激情| 亚洲欧洲在线看| 亚洲欧美一区在线| 国产一区二区三区黄| 亚洲黑丝在线| 欧美视频日韩视频| 午夜一区不卡| 欧美国产日本| 亚洲一二三四区| 久久综合中文字幕| 日韩性生活视频| 欧美专区中文字幕| 在线色欧美三级视频| 一区二区欧美视频| 国产欧美日韩中文字幕在线| 亚洲黑丝一区二区| 国产精品ⅴa在线观看h| 午夜一区二区三视频在线观看| 免费国产一区二区| 一本色道久久综合亚洲精品不 | 亚洲女与黑人做爰| 麻豆成人av| 亚洲视频一二区| 久久综合五月天婷婷伊人| 日韩视频在线一区| 久久精品国产精品亚洲综合| 亚洲国产一区二区精品专区| 午夜精品亚洲| 亚洲高清不卡一区| 欧美一级视频精品观看| 亚洲国产精品成人一区二区 | 久久精品国亚洲| 亚洲国内欧美| 久久av红桃一区二区小说| 91久久精品国产91久久性色tv| 午夜久久美女| 亚洲国产精品久久久久秋霞不卡| 午夜精品久久久久久久99黑人| 在线观看91精品国产入口| 亚洲男女自偷自拍图片另类| 在线成人av网站| 香蕉久久久久久久av网站 | 亚洲免费av网站| 久久在线视频| 亚洲自拍偷拍一区| 欧美另类女人| 久久精品一区四区| 国产精品黄视频| 亚洲蜜桃精久久久久久久| 国产亚洲毛片在线| 亚洲综合大片69999| 亚洲国产精品日韩| 久久精品国产2020观看福利| 99精品国产高清一区二区| 免费日韩视频| 欧美在线观看网站| 国产精品社区| 亚洲网友自拍| 91久久国产精品91久久性色| 久久久久欧美精品| 亚洲自拍偷拍色片视频| 欧美日韩在线视频观看|