Spark Structured Streaming 優勢 2022-08-11
增量查詢模型(Incremental query model)：Structured Streaming 將會在新增的流式數據上不斷執行增量查詢，同時代碼的寫法和批處理 API (基于 ...詳情>
Spark讀取MySQL大表超時問題 2022-08-11
場景為Spark讀取一張MySQL表(innodb引擎)， 數據量8000萬，無自增ID，業務中一個字段為(訂單ID)主鍵。要將該表數據讀取后寫入到HDFS。詳情>
Spark 數據傾斜調優10策（二） 2022-06-22
Spark通過 textFile(path, minPartitions) 方法讀取文件時，使用 TextInputFormat。對于不可切分的文件，每個文件對應一個 Split 從而對應一個...詳情>
凱哥 2022-01-14
原普科國際科技有限公司培訓主管，曾任國內航運業高級研發經理。多年軟件開發經驗和教學經驗，形成了一整套的成熟的教學體系。主持了金融信息...詳情>
Mill 2022-01-14
原某軟件、軟通公司項目高級開發工程師，有5年以上研發經驗，多年教學經驗，擁有多年的離線和實時開發經驗及項目實施經驗，精通Spark、Hadoop...詳情>
在線提問
專業導師線上坐鎮，解答個性化學習難題
提交問題
京公網安備 11010802030320號