《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業界動態 > 濤思數據宣布發布taosAdapter:支持從OpenTSDB向TDengine無縫遷移

濤思數據宣布發布taosAdapter:支持從OpenTSDB向TDengine無縫遷移

2021-11-30
來源:電子創新網

  為了構建更為完整的物聯網大數據處理生態,支持簡單高效地從其他時序數據庫遷移到TDengine,濤思數據研發并正式發布了taosAdapter

  TDengine是濤思數據專為物聯網、車聯網、工業互聯網、IT運維等設計和優化的大數據平臺。除核心的快10倍以上的時序數據庫功能外,還提供緩存、數據訂閱、流式計算等功能,最大程度減少研發和運維的復雜度,且核心代碼,包括集群功能全部開源。自TDengine于2019年7月宣布開源以來,在世界最大的代碼托管平臺GitHub上已經已經獲得非常積極的反饋,有17,300多人給了star,4,100多人fork了代碼。越來越多的用戶開始采用TDengine。

  

1638235884902685.jpg

  TDengine 在 GitHub 上開源

  taosAdapter是一個新的獨立程序,可以包含在TDengine 2.3.0.0及以上版本中。taosAdapter的核心出發點是解決用戶的痛點,降低遷移成本。

  在物聯網和運維監控等領域,有些用戶還在使用傳統解決方案或者比較老的產品解決時序數據處理問題,比如OpenTSDB。OpenTSDB也是一款開源的分布式時序數據庫,它沒有自己的存儲引擎,相關功能完全基于HBase。因為產生時間較早,所以很多運維監控項目選擇了該系統。

  以某物流科技公司為例,他們采用了OpenTSDB+HBase作為大數據監控平臺全量監控數據的存儲方案。但是隨著該平臺接入的數據量越來越大,他們遇到了很多痛點,像系統依賴多、使用成本高和性能不如意等。

  具體而言:

  依賴多,穩定性較差:大數據監控平臺是底層的基礎設施,在數據存儲方面又要依賴Kafka、Spark和HBase等大數據組件。這樣數據處理鏈路就會很長,而數據鏈路越長,要保證系統的可靠性,挑戰也就越大。如果監控系統本身出現問題,也就無從基于它來發現和定位業務系統的問題了。

  使用成本高:監控數據的寫入量非常大,而且為了追溯歷史問題,他們需要將全量監控數據保存半年以上。數據存儲成本居高不下。

  性能不能滿足需求:OpenTSDB作為全量監控數據存儲方案,在寫入方面性能基本滿足需求,但是在日常大跨度和高頻次查詢方面已無法滿足要求。

  為了解決這些痛點,當時順豐科技的工程師們認為有必要對全量監控數據存儲方案進行升級。他們調研了多款時序數據庫產品,最終決定選擇TDengine。之后他們基于TDengine對系統進行了改造。改造完成后,TDengine集群輕松扛住了全量監控數據寫入,目前運行穩定。

  這次改造帶來的效果提升非常亮眼:服務端物理機由21臺降至3臺,每日所需存儲空間同等條件下僅為OpenTSDB+HBase的約1/10,大大降低了硬件成本。在查詢性能方面,在使用預計算函數情況下,查詢p99都在0.7秒以內,已經能夠滿足日常絕大部分查詢需求;在做大跨度(6個月)非預計算查詢情況下,首次查詢耗時在10秒左右,后續類似查詢耗時會有大幅下降(2-3s)。

  某物聯網平臺也遇到了類似問題,他們之前采用OpenTSDB存儲時序數據,功能上是能夠滿足需求的;但是由于OpenTSDB架構復雜,體量過重,給開發測試、安裝部署以及運維管理等工作帶來了不小的麻煩,隨著業務規模的發展,問題愈發嚴重。同樣在經過調研之后,他們也選擇了TDengine。在升級改造的過程中,他們需要保留歷史數據,所以需要將歷史數據從OpenTSDB遷移到TDengine。為此他們還專門開發了一個數據遷移工具,并進行了詳盡的測試。

  用戶的需求就是產品演進的動力。TDengine的研發團隊開始思考這個問題:既然很多用戶都有這種遷移需求,那是不是可以官方給出一個統一的解決方案呢?

  taosAdapter就是他們的答案。taosAdapter主要有以下功能:

  RESTful接口

  兼容InfluxDB v1 write接口

  兼容OpenTSDB JSON和Telnet格式寫入

  無縫連接Telegraf、collectd、StatsD、Icinga、TCollector

  它能夠兼容OpenTSDB的Telnet/JSON寫入協議,對于運維監控類業務,用戶可以將collectd和StatsD收集的數據通過taosAdapter直接推送到TDengine。在數據能夠正常寫入TDengine后,可以調整適配Grafana,將寫入TDengine的數據以可視化方式呈現出來。TDengine也為Grafana提供了連接插件。如果要遷移歷史數據,濤思數據還開發了數據同步工具DataX的插件,能夠幫助用戶將數據自動寫入到TDengine中。用戶無需修改任何一行代碼,只需要改幾個配置,即可無縫遷移。

  下一步,taosAdapter也將繼續完善,支持從更多平臺向TDengine遷移。




圖片.jpg


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 国产精品乱码在线观看| 两个人看的www在线| 91久久精品国产91久久性色tv | 四虎国产精品永久在线播放| 中国一级特黄高清免费的大片中国一级黄色片 | 三级黄在线播放| 欧美一级高清免费a| 国产精品久久国产三级国不卡顿| www.天天干.com| 最近中文字幕完整在线电影| 免费看电视电影| 91大神福利视频| 日本特黄特色特爽大片老鸭| 人人爽天天爽夜夜爽曰| 黄页网站在线播放| 好男人www社区| 亚洲a在线视频| 精品乱码久久久久久中文字幕| 国产精品久久久久久久久齐齐| 中文字幕日本最新乱码视频| 污污的视频在线播放| 国产又粗又猛又爽又黄的免费视频 | 国产精品手机视频一区二区| 久久精品国产99国产精品澳门| 黑白禁区在线观看免费版 | 色吊丝永久性观看网站| 国产综合色在线精品| 中文字幕日韩精品麻豆系列| 日韩欧美小视频| 免费一级国产大片| 美女扒开裤子让男人桶视频| 国产精品无码永久免费888| 中文无码人妻有码人妻中文字幕| 暖暖免费高清日本中文| 国产伦精品一区二区三区视频金莲| yellow字幕网在线zmzz91| 无码专区一va亚洲v专区在线| 亚洲精品无码不卡| 国产精品你懂得| 女人被两根一起进3p在线观看| 久久成人a毛片免费观看网站|