课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认识达内从这里开始
认真做教育 专心促就业
Spark RDD的核心原理
1、Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。
2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同Work节点上，从而让RDD中的数据可以被并行操作。(分布式数据集)
3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过RDD的本地创建转换而来。
4、传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法。
RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。RDD的lineage特性。
5、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。(弹性)
一、为什么会有Spark？
因为传统的并行计算模型无法有效的解决迭代计算(iterative)和交互式计算(interactive)而Spark的使命便是解决这两个问题，这也是他存在的价值和理由。
二、Spark如何解决迭代计算？
其主要实现思想就是RDD,把所有计算的数据保存在分布式的内存中。迭代计算通常情况下都是对同一个数据集做反复的迭代计算，数据在内存中将大大提升IO操作。这也是Spark涉及的核心：内存计算。
三、Spark如何实现交互式计算？
因为Spark是用scala语言实现的,Spark和scala能够紧密的集成,所以Spark可以完美的运用scala的解释器,使得其中的scala可以向操作本地集合对象一样轻松操作分布式数据集。
四、Spark和RDD的关系？
可以理解为：RDD是一种具有容错性基于内存的集群计算抽象方法,Spark则是这个抽象方法的实现。
免责声明：内容来源于公开网络，若涉及侵权联系尽快删除！
< 上一篇：Java高薪程序员需要掌握哪些技能？
下一篇：如何学习Java高并发 >
2024-01-19
免费试听课程
- 全部课程
- IT课程
- 设计课程
- 运营课程
4578
最新开班时间
- 北京
- 上海
- 广州
- 深圳
- 南京
- 成都
- 武汉
- 西安
- 青岛
- 天津
- 杭州
- 重庆
- 哈尔滨
- 济南
- 沈阳
- 合肥
- 郑州
- 长春
- 苏州
- 长沙
- 昆明
- 太原
- 无锡
- 石家庄
- 南宁
- 佛山
- 珠海
- 宁波
- 保定
- 呼和浩特
- 洛阳
- 烟台
- 运城
- 潍坊
- 开课名称
- 开班时间
- 抢座
- 咨询
- 开课名称
- 开班时间
- 抢座
- 咨询
-
- Java全链路开发
- 9月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 9月29日
- 火热抢座中
- 立即咨询
- 人工智能工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 9月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 9月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 9月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 9月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 9月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 9月29日
- 火热抢座中
- 立即咨询
- 云计算全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 网络安全工程师
- 9月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 9月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 9月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 9月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 9月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 9月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 9月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 9月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 9月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 9月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 9月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 9月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 9月29日
- 火热抢座中
- 立即咨询
-
- Java全链路开发
- 9月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- 数据分析与商业智能
- 9月29日
- 火热抢座中
- 立即咨询
- C++物联网工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- Web全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
- 软件测试工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- AI大模型全栈工程师
- 9月29日
- 火热抢座中
- 立即咨询
- 鸿蒙原生应用开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 智能职场办公
- 9月29日
- 火热抢座中
- 立即咨询
- VFX商业视效设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- AGI商业设计变现
- 9月29日
- 火热抢座中
- 立即咨询
- UID全链路设计
- 9月29日
- 火热抢座中
- 立即咨询
-
- 新媒体电商运营
- 9月29日
- 火热抢座中
- 立即咨询
-
- 云计算全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
- 网络安全工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- C++物联网工程师
- 9月29日
- 火热抢座中
- 立即咨询
- Web全栈开发
- 9月29日
- 火热抢座中
- 立即咨询
-
- 软件测试工程师
- 9月29日
- 火热抢座中
- 立即咨询
- AI大模型全栈工程师
- 9月29日
- 火热抢座中
- 立即咨询
-
- 鸿蒙原生应用开发
- 9月29日
- 火热抢座中
- 立即咨询
- 智能职场办公
- 9月29日
- 火热抢座中
- 立即咨询
-
- VFX商业视效设计
- 9月29日
- 火热抢座中
- 立即咨询
- AGI商业设计变现
- 9月29日
- 火热抢座中
- 立即咨询
-
- UID全链路设计
- 9月29日
- 火热抢座中
- 立即咨询
- 新媒体电商运营
- 9月29日
- 火热抢座中
- 立即咨询
预约申请试听课
400-111-8989
lihm@tedu.cn
