2019阿里云峰會·上海開發(fā)者大會于7月24日盛大開幕,在本次峰會的開源大數(shù)據(jù)專場上,阿里巴巴高級技術(shù)專家李呈祥帶來了《Apache Spark
最新技術(shù)發(fā)展和3.0+ 展望》的全面解析,為大家介紹了Spark在整體IT基礎(chǔ)設(shè)施上云背景下的新挑戰(zhàn)和最新技術(shù)進(jìn)展,同時預(yù)測了Spark
3.0即將重磅發(fā)布的新功能。
開源大數(shù)據(jù)專場PPT下載
<https://developer.aliyun.com/article/710720?spm=a2c6h.12873639.0.0.6de04644CyZSxJ&groupCode=tech_library>
以下內(nèi)容根據(jù)演講視頻以及PPT整理而成。
自2009年伯克利的AMP LAB將
Spark開源以來,Spark在大數(shù)據(jù)處理領(lǐng)域獲得了巨大的成功。Spark的定位是大數(shù)據(jù)處理的統(tǒng)一分析引擎,具有非常通用的分布式計算引擎,基于這個分布式計算引擎,
Spark在不同領(lǐng)域方向提供了高層的DSL,比如針對關(guān)系型數(shù)據(jù)的Spark SQL,針對實時數(shù)據(jù)的Spark streaming,針對機(jī)器學(xué)習(xí)的MLlib,
以及
熱門工具 換一換