麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  技術干貨  > Hive數據傾斜

Hive數據傾斜

來源:千鋒教育
發布人:qyf
時間: 2022-10-08 11:39:17 1665200357

Hive數據傾斜

  MapReduce任務中,Map輸出數據按Key Hash分配到Reduce中,由于Key分布不均勻、業務數據本身的特性、建表時考慮不周、某些SQL語句本身就有數據傾斜等原因造成的reduce上的數據量差異過大,如何將數據均勻的分配到各個Reduce中,就是解決數據傾斜的根本所在,舉三個例子

  Map 端聚合

  -- 設置如下參數即可開啟map端聚合,就是在Map端將相同的Key先做一次聚合計算,減少往reduce發送的數據

  set hive.map.aggr=true

  GroupBy 產生的數據傾斜

  -- 設置如下參數,在GroupBy時,生成兩個Job,第一個Job給GroupBy的key加隨機數,隨機分布到Reduce中,每個Reduce做

  部分聚合操作,先縮小數據量。第二個Job再進行真正的數據處理,完成最終的聚合

  set hive.groupby.skewindata = true

  count(distinct)

  -- count(distinct) 數據傾斜,可以使用 sum + groupby 來完成等價轉換,

  -- 原始SQL

  select count(distinct uuid) from t1;

  -- 等價轉換SQL, 其實就是采用分治思路,我們按照uuid的前n位進行GROUP BY,并做COUNT(DISTINCT )操作,

  然后再對所有的COUNT(DISTINCT)結果進行求和

  select sum(agg_part) result from

  (

  select substr(uuid,1,3) uuid_part,

  count(distinct substr(uuid,4)) as agg_part

  from t1

  group by substr(uuid,1,3)

  )t

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 一本色道久久88加勒比—综合| 久久婷婷国产综合精品| 女bbbbxxxx另类亚洲| 日本护士恋夜视频免费列表| 色妞色妞| а√天堂中文最新版地址| 快穿之青梅竹马女配| 成年女人在线视频| 国产精品免费看久久久| 天天谢天天干| 打开腿给医生检查黄文| 亚洲欧美国产另类视频| 中文字幕影片免费在线观看| 第四色亚洲色图| 嗯灬啊灬老师别揉我奶了啊灬嗯| 欧美日韩中文字幕在线视频| 国产一精品一av一免费爽爽| 好爽好多水小荡货护士视频| 小婷的性放荡日记h交| 麻豆视频传媒二区| 无码精品一区二区三区免费视频 | 日韩美香港a一级毛片| 最近高清国语中文在线观看免费| 日b影院| 久久99精品久久久久久| 成人福利电影在线观看| 国产福利一区二区三区在线视频 | 91精品国产色综合久久不卡蜜 | 日本电影娼年| 亚洲国产精品va在线观看麻豆| 欧美xxxx三人交性视频| 大胸妈妈的朋友| 忘忧草日本在线播放www| 欧美精品亚洲精品| 羞羞漫画登录页面免费| 美女扒开胸罩露出奶了无遮挡免费 | zooslook欧美另类最新| 色鬼7777久久| 午夜影皖| 波多野结衣gvg708| 欧美日韩高清完整版在线观看免费|