麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > 數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:41:00 1662104460

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

目前在Hadoop中用得比較多的有lzo,gzip,snappy,bzip2這4種壓縮格式,筆者根據實踐經驗介紹一下這4種壓縮格式的優缺點和應用場景,以便大家在實踐中根據實際情況選擇不同的壓縮格式。

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

1. gzip壓縮 

- 優點: - 壓縮率比較高,而且壓縮/解壓速度也比較快;

- hadoop本身支持,在應用中處理gzip格式的文件就和直接處理文本一樣;

 - 有hadoop native庫; - 大部分linux系統都自帶gzip命令,使用方便。

- 缺點:不支持split。 

- 應用場景: 當每個文件壓縮之后在130M以內的(1個塊大小內),都可以考慮用gzip壓縮格式。

譬如說一天或者一個小時的日志壓縮成一個gzip文件,運行mapreduce程序的時候通過多個gzip文件達到并發。

hive程序,streaming程序,和java寫的mapreduce程序完全和文本處理一樣,壓縮之后原來的程序不需要做任何修改。  

2. lzo壓縮

- 優點: 

- 壓縮/解壓速度也比較快,合理的壓縮率; 

- 支持split,是hadoop中最流行的壓縮格式; 

- 支持hadoop native庫; - 可以在linux系統下安裝lzop命令,使用方便。 

- 缺點: 

- 壓縮率比gzip要低一些; 

- hadoop本身不支持,需要安裝; 

- 在應用中對lzo格式的文件需要做一些特殊處理(為了支持split需要建索引,還需要指定inputformat為lzo格式)。

- 應用場景: 一個很大的文本文件,壓縮之后還大于200M以上的可以考慮,而且單個文件越大,lzo優點越明顯。

3. snappy壓縮

- 優點: - 高速壓縮速度和合理的壓縮率;  

- 支持hadoop native庫。 

- 缺點: 

- 不支持split; 

- 壓縮率比gzip要低; 

- hadoop本身不支持,需要安裝; 

- linux系統下沒有對應的命令。 

- 應用場景: 當mapreduce作業的map輸出的數據比較大的時候,作為map到reduce的中間數據的壓縮格式;

或者作為一個mapreduce作業的輸出和另外一個mapreduce作業的輸入。

4. bzip2壓縮

- 優點: 

- 支持split; 

- 具有很高的壓縮率,比gzip壓縮率都高; 

- hadoop本身支持,但不支持native; 

- 在linux系統下自帶bzip2命令,使用方便。

- 缺點: 

- 壓縮/解壓速度慢; 

- 不支持native。

- 應用場景: 適合對速度要求不高,但需要較高的壓縮率的時候,可以作為mapreduce作業的輸出格式; 

或者輸出之后的數據比較大,處理之后的數據需要壓縮存檔減少磁盤空間并且以后數據用得比較少的情況;

或者對單個很大的文本文件想壓縮減少存儲空間,同時又需要支持split,而且兼容之前的應用程序(即應用程序不需要修改)的情況。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 色吧电影网| 色欲香天天天综合网站| 娇妻的大杂交| 一个人晚上在线观看的免费视频| 波多野结衣在线看片| 里番本子侵犯肉全彩3d| 亚洲欧美一区二区三区电影| 亚洲国产欧美日韩精品一区二区三区 | 日本高清黄色| 无翼乌全彩无遮挡动漫视频| 调教在线视频| 182tv免费视视频线路一二三| 两个丫头稚嫩紧窄小说| 欧美激情第一区| 又大又湿又紧又爽a视频| 污污的网站在线免费观看| 一级毛片看**在线视频| 亚洲a∨精品一区二区三区下载| 无码精品一区二区三区免费视频| 日本一道本在线视频| 亚洲欧美一区二区三区| 免费v片在线观看| 无翼少无翼恶女漫画全彩app| 日韩精品视频在线观看免费| 国产色a在线观看| 久久天天躁狠狠躁夜夜| 波多吉衣| 草莓视频网站入口| 美女和男生一起差差差| 国产捆绑调教| 国产福利在线观看一区二区| 国产精品igao视频网网址| 日本阿v视频在线观看| 妞干网手机视频| 麻豆一区区三三四区产品麻豆| 美女扒开尿口让男人桶进| 在车上狠狠的吸她的奶| 饭冈加奈子黑人解禁在线播放| 中国大陆国产高清aⅴ毛片| 国产人妖系列在线精品| 国产精品美女www爽爽爽视频|