一、二者各方面比较

HadoopSpark类型基础平台，包含计算、存储、调度分布式计算工具场景大规模数据集上的批处理迭代计算，交互式计算，流计算价格对机器要求低，便宜对内存有要求，相对较贵编程范式Map+Reduce，API较为底层，算法适应性差RDD组成DAG有向无环图，API较为顶层，方便使用数据存储结构MapReduce中间计算结果在HDFS磁盘上，延迟大RDD中间运算结果在内存中，延迟小运行方式Task以进程方式维护，任务启动慢Task以线程方式维护，任务启动快 二、Spark不能完全替代Hadoop的原因 Spark主要用于替代Hadoop中的MapReduce计算模型。存储依然可以使用HDFS，但是中间结果可以存放在内存中；Spark已经很好地融入了Hadoop生态圈，并成为其中的重要一员，它可以借助于YARN实现资源调度管理，借助于HDFS实现分布式存储。 三、Hadoop基于进程计算和Spark基于线程计算的优缺点

Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中，造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率，Spark采用了线程的最小的执行单位，但缺点是线程之间会有资源竞争。

四、Spark处理数据与MapReduce处理数据的不同点 Spark处理数据时，可以将中间处理结果数据存储到内存中Spark Job调度以DAG方式，并且每个任务Task执行以线程(Thread)方式，并不是像MapReduce以进程(Process)方式执行

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。