麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > 有了Kafka+流處理框架,為什么還需要時序數據庫?

有了Kafka+流處理框架,為什么還需要時序數據庫?

來源:千鋒教育
發布人:xqq
時間: 2023-10-13 02:57:26 1697137046

一、有了Kafka+流處理框架,為什么還需要時序數據庫

在物聯網實際部署中,消息中間件(kafka,emq等)和時序數據庫通常是上下游的關系。

消息中間件有非常高的并發能力,能夠同時接受百萬級的網絡連接。一個數據庫(包括關系數據庫和時序數據庫)創建一個會話(客戶端連接)的成本比較高,能接受的連接數量也就在幾百和幾千這樣的級別(分布式數據庫可以按節點數增加,但數量遠遠小于消息中間件)。當面對大量的物聯網傳感器,消息中間件架設在中間,接受傳感器的數據,然后再批量寫入到時序數據庫中。時序數據庫的寫入吞吐量遠遠高于關系數據庫,每秒寫入百萬級和千萬級的數據點都不是問題。以分布式時序數據庫DolphinDB為例,6個服務器構成的集群,每秒能達到千萬測點的三副本寫入。可以這么說,消息中間件的高并發能力和時序數據庫的高吞吐量聯合起來,解決了物聯網海量數據的實時處理和存儲問題。

至于時序數據庫的用途,參考其它回答,包括:提供永久的數據存儲和管理能力,數據查詢和分析等。

抽象來看,消息隊列與時序數據庫沒有本質的區別,都是對時間序列數據的處理。但功能上,時序數據庫要有查詢、計算,而消息隊列只是簡單的生產、消費,先進先出。由于要有計算、分析,無論是結構化寫入還是schemaless寫入,時序數據庫內部一定要把數據結構化處理,否則沒法進行計算和分析的。而消息隊列完全不用考慮這個,完全做非結構化數據處理就行。從存儲設計的角度來看,兩者是沒有區別的,都需要有數據的保留策略,都需要對數據進行分區分片。一個時間線的ID可以作為kafka來的key, 對數據指定partition.

兩者正在融合,開源的TDengine就是這樣的,它不僅是時序數據庫,但同時又具備消息隊列的功能。這樣在大數據框架下,就能減少一個環節,降低系統復雜度,降低運維成本。Kafka的企業版也在做類似的事情,除消息隊列功能外,對外還提供SQL查詢,提供各種分析計算功能。

更進一步,流式計算也可以融合進來。流式計算也是基于時序數據的,因此TDengine從設計的名列前茅天起,就考慮了流式計算,但目前還僅僅提供時間驅動的流式計算,后續版本會提供基于事件驅動的流式計算。這樣對于物聯網、車聯網、IT運維等場景,系統架構將更進一步簡化,運維成本進一步降低。

延伸閱讀:

二、時間序列數據庫TSDB

TSDB(Time Series Database):一系列數據點按照時間順序排列;時間序列數據就是歷史烙印,具有不變性、時間排序性。

(基于時間的一系列數據,在有時間的坐標中將這些數據點連成線,往過去看可以做成多維度報表,揭示其趨勢性、規律性、異常性;往未來看可以做大數據分析、機器學校、實現預測和預警。

時序數據庫就是存放時序數據的數據庫,并且需要支持時序數據的快速寫入、持久化、多維度的聚合查詢等基本功能)。

聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 精品国产福利在线观看91啪| 日本不卡1卡2卡三卡四卡最新| 日本理论片和搜子同居的日子演员| 天天天天做夜夜夜做| 把腿抬起来就可以吃到扇贝了| 国产三级免费电影| 强行被公侵犯奈奈美| 亚洲欧美一区二区三区电影| 国产高清露脸| 2020夜夜操| 色婷婷在线视频| 韩国公和熄三级在线观看| 尾野真知子日韩专区在线| 波多野たの结衣老人绝伦| 黄色三级电影免费| 大学生男男澡堂69gaysex| 国产成人在线电影| 处处吻动漫免费观看全集| 91福利视频网| 嘟嘟嘟www免费高清在线中文| 亚洲精品成人a在线观看| 在线观看免费毛片| 91麻豆国产自产| 日本三级吃奶乳视频在线播放| 精品伊人久久| 果冻传媒李琼母亲| 大香煮伊在2020一二三久应用| 最近免费观看高清韩国日本大全| 一级毛片无毒不卡直接观看| 国产福利一区二区三区在线视频| 天天做日日做| 高清videosgratis欧洲69| 午夜电影院理论片8888琪琪| 国产国产人免费人成免费视频| 三级一级片| 久久99久久99精品| 亚洲一区无码中文字幕| 男人j进女人p免费视频不要下载的| 香蕉一级视频| 色综合天天综合网国产成人网| 春日野吉衣|