《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業界動態 > 濤思數據宣布發布taosAdapter:支持從OpenTSDB向TDengine無縫遷移

濤思數據宣布發布taosAdapter:支持從OpenTSDB向TDengine無縫遷移

2021-11-30
來源:電子創新網

  為了構建更為完整的物聯網大數據處理生態,支持簡單高效地從其他時序數據庫遷移到TDengine,濤思數據研發并正式發布了taosAdapter。

  TDengine是濤思數據專為物聯網、車聯網、工業互聯網、IT運維等設計和優化的大數據平臺。除核心的快10倍以上的時序數據庫功能外,還提供緩存、數據訂閱、流式計算等功能,最大程度減少研發和運維的復雜度,且核心代碼,包括集群功能全部開源。自TDengine于2019年7月宣布開源以來,在世界最大的代碼托管平臺GitHub上已經已經獲得非常積極的反饋,有17,300多人給了star,4,100多人fork了代碼。越來越多的用戶開始采用TDengine。

  

1638235884902685.jpg

  TDengine 在 GitHub 上開源

  taosAdapter是一個新的獨立程序,可以包含在TDengine 2.3.0.0及以上版本中。taosAdapter的核心出發點是解決用戶的痛點,降低遷移成本。

  在物聯網和運維監控等領域,有些用戶還在使用傳統解決方案或者比較老的產品解決時序數據處理問題,比如OpenTSDB。OpenTSDB也是一款開源的分布式時序數據庫,它沒有自己的存儲引擎,相關功能完全基于HBase。因為產生時間較早,所以很多運維監控項目選擇了該系統。

  以某物流科技公司為例,他們采用了OpenTSDB+HBase作為大數據監控平臺全量監控數據的存儲方案。但是隨著該平臺接入的數據量越來越大,他們遇到了很多痛點,像系統依賴多、使用成本高和性能不如意等。

  具體而言:

  依賴多,穩定性較差:大數據監控平臺是底層的基礎設施,在數據存儲方面又要依賴Kafka、Spark和HBase等大數據組件。這樣數據處理鏈路就會很長,而數據鏈路越長,要保證系統的可靠性,挑戰也就越大。如果監控系統本身出現問題,也就無從基于它來發現和定位業務系統的問題了。

  使用成本高:監控數據的寫入量非常大,而且為了追溯歷史問題,他們需要將全量監控數據保存半年以上。數據存儲成本居高不下。

  性能不能滿足需求:OpenTSDB作為全量監控數據存儲方案,在寫入方面性能基本滿足需求,但是在日常大跨度和高頻次查詢方面已無法滿足要求。

  為了解決這些痛點,當時順豐科技的工程師們認為有必要對全量監控數據存儲方案進行升級。他們調研了多款時序數據庫產品,最終決定選擇TDengine。之后他們基于TDengine對系統進行了改造。改造完成后,TDengine集群輕松扛住了全量監控數據寫入,目前運行穩定。

  這次改造帶來的效果提升非常亮眼:服務端物理機由21臺降至3臺,每日所需存儲空間同等條件下僅為OpenTSDB+HBase的約1/10,大大降低了硬件成本。在查詢性能方面,在使用預計算函數情況下,查詢p99都在0.7秒以內,已經能夠滿足日常絕大部分查詢需求;在做大跨度(6個月)非預計算查詢情況下,首次查詢耗時在10秒左右,后續類似查詢耗時會有大幅下降(2-3s)。

  某物聯網平臺也遇到了類似問題,他們之前采用OpenTSDB存儲時序數據,功能上是能夠滿足需求的;但是由于OpenTSDB架構復雜,體量過重,給開發測試、安裝部署以及運維管理等工作帶來了不小的麻煩,隨著業務規模的發展,問題愈發嚴重。同樣在經過調研之后,他們也選擇了TDengine。在升級改造的過程中,他們需要保留歷史數據,所以需要將歷史數據從OpenTSDB遷移到TDengine。為此他們還專門開發了一個數據遷移工具,并進行了詳盡的測試。

  用戶的需求就是產品演進的動力。TDengine的研發團隊開始思考這個問題:既然很多用戶都有這種遷移需求,那是不是可以官方給出一個統一的解決方案呢?

  taosAdapter就是他們的答案。taosAdapter主要有以下功能:

  RESTful接口

  兼容InfluxDB v1 write接口

  兼容OpenTSDB JSON和Telnet格式寫入

  無縫連接Telegraf、collectd、StatsD、Icinga、TCollector

  它能夠兼容OpenTSDB的Telnet/JSON寫入協議,對于運維監控類業務,用戶可以將collectd和StatsD收集的數據通過taosAdapter直接推送到TDengine。在數據能夠正常寫入TDengine后,可以調整適配Grafana,將寫入TDengine的數據以可視化方式呈現出來。TDengine也為Grafana提供了連接插件。如果要遷移歷史數據,濤思數據還開發了數據同步工具DataX的插件,能夠幫助用戶將數據自動寫入到TDengine中。用戶無需修改任何一行代碼,只需要改幾個配置,即可無縫遷移。

  下一步,taosAdapter也將繼續完善,支持從更多平臺向TDengine遷移。




圖片.jpg


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
国产综合久久久久久鬼色| 一区二区欧美在线观看| 欧美久久一区| 久久综合五月| 久久久999成人| 午夜精品亚洲| 亚洲午夜羞羞片| 亚洲视频导航| 亚洲无亚洲人成网站77777| 日韩一区二区久久| 亚洲免费av电影| 亚洲乱亚洲高清| 亚洲美女在线视频| 亚洲毛片网站| 日韩视频一区二区| 99精品视频一区| 日韩亚洲欧美成人一区| 99在线精品视频在线观看| 亚洲免费精彩视频| 亚洲精选久久| 99热在线精品观看| 亚洲最新色图| 亚洲专区欧美专区| 午夜精品久久久久久| 午夜精品视频| 久久精品免费看| 久久久久一区二区三区| 久久亚洲视频| 欧美成人一区在线| 欧美日韩国产三区| 欧美午夜www高清视频| 国产精品欧美日韩| 国产欧美精品一区| 激情综合网激情| 亚洲国产美女| 9人人澡人人爽人人精品| 亚洲视频你懂的| 欧美一区二区三区久久精品茉莉花 | 欧美日韩在线播放三区四区| 欧美日韩卡一卡二| 国产精品豆花视频| 国产在线成人| 91久久精品国产91性色tv| 日韩网站在线看片你懂的| 亚洲影院免费| 亚洲国产精彩中文乱码av在线播放| 日韩一级精品| 午夜精品免费在线| 老司机午夜精品| 欧美日韩亚洲一区二区三区四区 | 亚洲性xxxx| 久久精品国产清高在天天线| 日韩一级黄色片| 欧美一区二区三区播放老司机 | 欧美一区二区三区精品| 亚洲欧美一区二区激情| 久久精品国产精品亚洲综合| 另类亚洲自拍| 欧美日韩中文字幕在线视频| 国产亚洲激情| 亚洲精品乱码久久久久久日本蜜臀| 亚洲一二三区精品| 亚洲国产成人精品久久久国产成人一区 | 亚洲人成艺术| 亚洲一区亚洲二区| 亚洲激情亚洲| 亚洲欧美日韩中文播放| 蜜桃久久av| 国产九色精品成人porny| 亚洲第一中文字幕| 亚洲欧美日韩一区二区在线| 亚洲精品永久免费| 久久久久久亚洲精品杨幂换脸 | 亚洲素人在线| 亚洲精品视频啊美女在线直播| 性做久久久久久久免费看| 欧美国产一区二区| 国产在线精品一区二区夜色| 一卡二卡3卡四卡高清精品视频| 久久精品国产视频| 午夜精品一区二区在线观看| 欧美精品一卡二卡| 国产亚洲aⅴaaaaaa毛片| 一区二区三区高清在线| 亚洲国产成人91精品| 欧美专区一区二区三区| 欧美午夜a级限制福利片| 在线精品亚洲| 欧美亚洲自偷自偷| 亚洲免费视频在线观看| 欧美日韩国产黄| 在线观看一区二区视频| 欧美在线视频播放| 午夜影院日韩| 欧美日韩视频在线观看一区二区三区 | 伊人成综合网伊人222| 亚洲在线中文字幕| 亚洲一区二区三| 欧美激情综合| 在线色欧美三级视频| 欧美中文字幕| 久久本道综合色狠狠五月| 国产精品久久久久久影视| 亚洲精品资源| 日韩视频在线观看免费| 欧美大片免费久久精品三p | 亚洲五月六月| 一区二区三区日韩| 欧美激情日韩| 亚洲国产一区二区三区青草影视| 亚洲国产精品久久久久秋霞影院| 久久久99久久精品女同性| 国产欧美精品久久| 欧美亚洲综合在线| 欧美在线观看一区二区三区| 国产精品久久9| 亚洲先锋成人| 午夜精品剧场| 国产精品一区久久久久| 亚洲一区影院| 午夜精品福利在线| 国产精品美女久久久免费| 亚洲图片欧洲图片av| 亚洲影院色无极综合| 国产精品99一区| 亚洲午夜久久久| 亚洲欧美日韩直播| 国产精品中文字幕欧美| 香蕉成人伊视频在线观看| 久久se精品一区二区| 国产一区二区精品久久| 欧美在线视频不卡| 男女激情视频一区| 亚洲日本中文| 中文成人激情娱乐网| 国产精品大片| 午夜亚洲性色福利视频| 久久久成人网| 亚洲第一页中文字幕| 99国产精品私拍| 国产精品国产a级| 亚洲女同在线| 久久久久青草大香线综合精品| 一区二区三区在线视频观看| 亚洲精品人人| 国产精品福利在线观看| 羞羞色国产精品| 蜜臀va亚洲va欧美va天堂| 91久久精品一区二区别| 亚洲先锋成人| 国产亚洲精品资源在线26u| 亚洲国产欧美一区| 欧美日韩在线一二三| 亚洲在线观看免费| 玖玖综合伊人| 一区二区不卡在线视频 午夜欧美不卡在 | 极品尤物一区二区三区| 亚洲激情影视| 国产精品激情电影| 久久av二区| 欧美激情影院| 亚洲一区三区电影在线观看| 久久综合九色99| 亚洲乱码久久| 久久久精品午夜少妇| 亚洲国产日韩欧美在线图片| 亚洲免费影院| 在线日韩中文字幕| 亚洲欧美在线一区二区| 在线免费观看一区二区三区| 亚洲婷婷国产精品电影人久久| 国产亚洲精品久久久久动| 亚洲精品一品区二品区三品区| 国产精品vvv| 亚洲欧洲精品成人久久奇米网| 国产精品久久久久久久7电影 | 亚洲免费av片| 久久久精品日韩| av成人福利| 蜜桃av一区二区在线观看| 中文在线不卡视频| 欧美成年人网站| 亚洲欧美日韩中文在线制服| 欧美精品久久久久久久久久| 亚洲欧美一区二区精品久久久| 欧美激情va永久在线播放| 欧美一区二区三区免费视频| 欧美日韩一区二区三区视频| 亚洲国产成人精品视频| 国产精品一区二区久久久| 91久久国产综合久久蜜月精品 | 一区二区电影免费在线观看| 国语自产精品视频在线看一大j8 | 久久激情中文| 国产精品久久久免费| 最新国产成人在线观看| 国产亚洲免费的视频看| 亚洲综合国产| 亚洲精选中文字幕| 农村妇女精品|