麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > 數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

來源:千鋒教育
發布人:wjy
時間: 2022-09-02 15:41:00 1662104460

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

目前在Hadoop中用得比較多的有lzo,gzip,snappy,bzip2這4種壓縮格式,筆者根據實踐經驗介紹一下這4種壓縮格式的優缺點和應用場景,以便大家在實踐中根據實際情況選擇不同的壓縮格式。

數據存儲在hdfs格式,使用的什么壓縮方式?壓縮比多少

1. gzip壓縮 

- 優點: - 壓縮率比較高,而且壓縮/解壓速度也比較快;

- hadoop本身支持,在應用中處理gzip格式的文件就和直接處理文本一樣;

 - 有hadoop native庫; - 大部分linux系統都自帶gzip命令,使用方便。

- 缺點:不支持split。 

- 應用場景: 當每個文件壓縮之后在130M以內的(1個塊大小內),都可以考慮用gzip壓縮格式。

譬如說一天或者一個小時的日志壓縮成一個gzip文件,運行mapreduce程序的時候通過多個gzip文件達到并發。

hive程序,streaming程序,和java寫的mapreduce程序完全和文本處理一樣,壓縮之后原來的程序不需要做任何修改。  

2. lzo壓縮

- 優點: 

- 壓縮/解壓速度也比較快,合理的壓縮率; 

- 支持split,是hadoop中最流行的壓縮格式; 

- 支持hadoop native庫; - 可以在linux系統下安裝lzop命令,使用方便。 

- 缺點: 

- 壓縮率比gzip要低一些; 

- hadoop本身不支持,需要安裝; 

- 在應用中對lzo格式的文件需要做一些特殊處理(為了支持split需要建索引,還需要指定inputformat為lzo格式)。

- 應用場景: 一個很大的文本文件,壓縮之后還大于200M以上的可以考慮,而且單個文件越大,lzo優點越明顯。

3. snappy壓縮

- 優點: - 高速壓縮速度和合理的壓縮率;  

- 支持hadoop native庫。 

- 缺點: 

- 不支持split; 

- 壓縮率比gzip要低; 

- hadoop本身不支持,需要安裝; 

- linux系統下沒有對應的命令。 

- 應用場景: 當mapreduce作業的map輸出的數據比較大的時候,作為map到reduce的中間數據的壓縮格式;

或者作為一個mapreduce作業的輸出和另外一個mapreduce作業的輸入。

4. bzip2壓縮

- 優點: 

- 支持split; 

- 具有很高的壓縮率,比gzip壓縮率都高; 

- hadoop本身支持,但不支持native; 

- 在linux系統下自帶bzip2命令,使用方便。

- 缺點: 

- 壓縮/解壓速度慢; 

- 不支持native。

- 應用場景: 適合對速度要求不高,但需要較高的壓縮率的時候,可以作為mapreduce作業的輸出格式; 

或者輸出之后的數據比較大,處理之后的數據需要壓縮存檔減少磁盤空間并且以后數據用得比較少的情況;

或者對單個很大的文本文件想壓縮減少存儲空間,同時又需要支持split,而且兼容之前的應用程序(即應用程序不需要修改)的情況。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 国产大片线上免费看| 国产福利影院在线观看| 亚洲欧洲综合在线| 韩国电影吃奶喷奶水的电影| 全彩口工彩漫画无遮漫画| 哈昂~哈昂够了太多太深小说| 污污的软件下载| 精品伊人久久大线蕉色首页| 久久成人国产精品| 大香伊人久久精品一区二区 | 欧美超清videos1080p| 极品丝袜乱系列在线阅读| 欧美色欧美亚洲高清在线视频 | 欧美一区二区三区久久综| 99精品久久久中文字幕| acg里番全彩| 老婆~我等不及了给我| 欧美精品黑人巨大在线播放| 草逼视频免费看| 国产精品久久久久久久久齐齐 | 欧美aa在线观看| 一男n女高h后宫| 国产a级毛片| 狠狠色狠狠色综合伊人| 天天谢天天干| 在线欧美自拍| 中国美团外卖男男china| 冬月枫亚洲高清在线观看| 日韩三级在线免费观看| 国产一级特黄高清免费下载| 尹人香蕉久久99天天拍欧美p7 | 日本三级中文字版电影| 小婷又紧又深又滑又湿好爽| 特级毛片全部免费播放a一级| 用我的手指搅乱吧未增删翻译 | 中日韩国语视频在线观看| 搞av.com| 美女脱个精光让男人桶爽| 午夜精品久久久久久中宇| 青青国产线免观看手机版精品| 好男人好资源在线|