麻豆黑色丝袜jk制服福利网站-麻豆精品传媒视频观看-麻豆精品传媒一二三区在线视频-麻豆精选传媒4区2021-在线视频99-在线视频a

千鋒教育-做有情懷、有良心、有品質的職業教育機構

手機站
千鋒教育

千鋒學習站 | 隨時隨地免費學

千鋒教育

掃一掃進入千鋒手機站

領取全套視頻
千鋒教育

關注千鋒學習站小程序
隨時隨地免費學習課程

當前位置:首頁  >  應聘面試  >  大數據面試題  > RDD與DataFrame區別,什么場景用RDD什么場景用DataFrame?

RDD與DataFrame區別,什么場景用RDD什么場景用DataFrame?

來源:千鋒教育
發布人:syq
時間: 2022-11-15 19:25:43 1668511543

  區別

  RDD是分布式的不可變的抽象的數據集,比如,RDD[Person]是以Person為類型參數,但是,Person類的內部結構對于RDD而言卻是不可知的。

  DataFrame是以RDD為基礎的分布式的抽象數據集,也就是分布式的Row類型的集合(每個Row對象代表一行記錄),提供了詳細的結構信息,即Schema信息。

Spark里kyro序列化

  Spark SQL可以清楚地知道該數據集中包含哪些列、每列的名稱和類型。

  應用場景

  RDD的使用場景: 你需要使用low-level的transformation和action來控制你的數據集;

  你得數據集非結構化,比如,流媒體或者文本流; 你想使用函數式編程來操作你得數據,而不是用特定領域語言(DSL)表達;

  你不在乎schema,比如,當通過名字或者列處理(或訪問)數據屬性不在意列式存儲格式;

  你放棄使用DataFrame和Dataset來優化結構化和半結構化數據集; DataFrame的使用場景: 你想使用豐富的語義,high-level抽象,和特定領域語言API,那你可DataFrame或者Dataset;

  你處理的半結構化數據集需要high-level表達, filter,map,aggregation,average,sum ,SQL 查詢,列式訪問和使用lambda函數,那你可DataFrame或者Dataset;

  你想利用編譯時高度的type-safety,Catalyst優化和Tungsten的code生成,那你可DataFrame或者Dataset;

  你想統一和簡化API使用跨Spark的Library,那你可DataFrame或者Dataset;

  如果你是一個R使用者,那你可DataFrame或者Dataset;

  如果你是一個Python使用者,那你可DataFrame或者Dataset。

tags:
聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。
10年以上業內強師集結,手把手帶你蛻變精英
請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通
免費領取
今日已有369人領取成功
劉同學 138****2860 剛剛成功領取
王同學 131****2015 剛剛成功領取
張同學 133****4652 剛剛成功領取
李同學 135****8607 剛剛成功領取
楊同學 132****5667 剛剛成功領取
岳同學 134****6652 剛剛成功領取
梁同學 157****2950 剛剛成功領取
劉同學 189****1015 剛剛成功領取
張同學 155****4678 剛剛成功領取
鄒同學 139****2907 剛剛成功領取
董同學 138****2867 剛剛成功領取
周同學 136****3602 剛剛成功領取
相關推薦HOT
主站蜘蛛池模板: 豪妇荡乳1一5| 久久免费观看国产精品88av| 黄色大片在线视频| 无翼乌里番| 亚洲二区电影| 成人三级k8经典网| 黄网站在线播放| 欧美日韩网站| 欧美性生活视频免费| 在线播放a1| 国产aⅴ一区二区三区| 欧美乱妇高清无乱码在线观看| 从镜子里看我怎么c你| 717午夜伦伦电影理论片| 一区二区视频| a国产乱理伦片在线观看夜| v片免费在线观看| 天堂中文字幕在线观看| 两个人看的www免费高清| 最近免费最新高清中文字幕韩国| 日本污全彩肉肉无遮挡彩色| 国产精品久久久久9999高清| 亚洲国产成人久久一区www | 一级一毛片a级毛片| 37大但人文艺术a级| 日本动漫黑暗圣经| 美女扒开尿口让男生捅| 91亚洲自偷手机在线观看| 伊人久久精品久久亚洲一区| 国产剧果冻传媒星空在线播放| 爽爽影院在线免费观看| 国产日韩欧美亚洲| 天天av天天翘天天综合网| 男人桶女人爽羞羞漫画| 婷婷亚洲久悠悠色悠在线播放| 真实调教奇优影院在线观看| 波多野结衣系列无限发射| 中国老人倣爱视频| 波多野吉衣一区二区三区在线观看| 网曝门精品国产事件在线观看| 豪妇荡乳1一5白玉兰免费下载|