麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > 為什么說HADOOP擴展性優于MPP架構的關系型數據庫?

為什么說HADOOP擴展性優于MPP架構的關系型數據庫?

來源:千鋒教育
發布人:xqq
時間: 2023-10-13 01:17:18 1697131038

一、為什么說HADOOP擴展性優于MPP架構的關系型數據庫

1. hadoop(hive)跟mpp的本質區別是什么,這個有的時候界限很模糊,比如說存儲,如果我把mpp的存儲架在hdfs上,那存儲模型就沒有區別了,所以地下我打算還是用比較傳統的認知來作區別。

2. hive跟mpp的存儲模型不一樣,hive用的hdfs,而mpp需要自己做切分,自己做切分就帶來動態調整的問題,hdfs的擴展是通過元數據來做的,他有中心節點用來存元數據,在加入新的節點的時候,只需要修改元數據就可以了,所以hdfs的擴展能力是受到管理元數據那臺機器的性能限制的,一般來說可以到10k這個規模,再向上就不行了。但是mpp通常采用的是沒有中心節點的存儲模型,比如hash,你每次增加節點的時候,都需要rehash,這樣當規模到了幾百臺的時候,擴展能力就下來了。當然,現在可以把存儲架在hdfs上,這樣在存儲上就沒有太大區別了。

3. hive跟mpp的內存管理方式不大一樣,mpp內存管理比較精細,他主要的想法是在每個機器上放個數據庫,傳統數據庫的內存管理比較復雜,主要是內外存交互的東西,這樣的架構決定了mpp在小數據量的時候,latency可以做的比較小,但是在大數據量的時候,throughput做不上去。而hive的內存管理非常粗放,他后來就是mapreduce的job,mr的job是沒有太多精細的內存管理的,他就是拼了命地scan,完了頂多就是個spill,這樣的架構導致throughput很大,但是latency很高,當你集群規模很大的時候,你一般會追求很大的throughput,當數據量很大的時候,如果你用mpp那種傳統的內存管理的話,大批量的計算反而會慢,而且更加占資源,所以vertica這種一開始就考慮了列式存儲就是這個道理。

4.事務,你可以認為hive不支持傳統意義上的那種高并發的事務,而mpp試圖想要支持,一旦你要上分布式事務,基本上你的可擴展性就上不去了,至于為啥,陳皓有一篇文章寫的不錯,建議看下。hive的ddl是可以多個并發的,但是dml不行,而ddl他是通過傳統的數據庫去做的,所以這個也是個中心節點,dml不行的話,就決定了他可以在底層跑mr這么重粒度的東西,他跑的時候,會在整個表上面加一把大鎖。

5.failover機制,hive的failover就是mr的failover,job掛掉了重新換機器跑就完了,但是mpp如果采用傳統架構的話,他的計算是要attach到數據節點上去的,如果你規模上去,那么fail的可能性就上去了,這樣如果你每次計算都有臺機器掛了,你一掛,別人就要等你,而不是換臺機器繼續跑,那么這個也限制了可擴展性,當然,如果mpp在底層用了統一的存儲,完了計算也可以到處轉移,再想個辦法把中間狀態記錄下來,也可以擴展(這個實際上就是sparksql)。

延伸閱讀:

二、MongoDB是什么

非關系型數據庫(nosql ),屬于文檔型數據庫。MongoDB采用類JSON的documents來存儲數據。數據結構由鍵值(key=>value)對組成。

MongoDB采用動態數據模型schema,這意味著不需要預先定義表的數據類型和字段名。當MongoDB需要更新文檔documents的時候,可以輕松增加新的字段名或者刪除舊的字段。MongoDB讓數據結構更加層級化,因而存儲數組等復雜數據結構。 在同一個集合collection中,文檔document對字段也沒有強約束,因此更容易設計差異化的數據結構。

聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 欧美日韩福利| 免费大黄网站在线观看| 91亚洲自偷手机在线观看| 好男人资源免费手机在线观看| 久久香蕉综合色一综合色88| 最新国产精品精品视频| 97麻豆精品国产自产在线观看| 男女免费爽爽爽在线视频| 在线免费观看你懂的| 国产精品午夜电影| 美女特黄视频| 天堂亚洲国产日韩在线看| 欧美性大战久久久久久久蜜桃| 久久久久久久综合| 精品国内自产拍在线视频| 欧美精品一区二区三区视频| 韩国一级在线观看| 高清不卡毛片免费观看| 韩国二级毛片免费播放| 女人18毛片a级毛片| 在线h观看| 波多野つ上司出差被中在线出| 探花www视频在线观看高清| 处处吻动漫免费观看全集 | 成年在线观看免费人视频草莓| 亚洲国产成人久久一区www | 男女猛烈xx00免费视频试看| 精品国产人成亚洲区| 67194线路1(点击进入)| 亚洲午夜精品一区二区| 午夜电影免费观看| 国产成人精品久久| 男男车车的车车网站免费 | 蜜桃成熟时仙子| 无忧传媒在线观看| 触手强制h受孕本子里番| 日韩欧美高清在线| 538精品在线视频| 久久久久国产精品| 国产精品免费_区二区三区观看| 大香线一本|