Hadoop=HDFS+Yarn+MapReduce+Hbase+Hive+Pig+Zookeeper+Hbase+Hive+Sqoop
1.HDFS:分布式文件系统,适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。
2.Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）? ? ? ?
3.MapReduce:Hadoop的编程框架，用map和reduce方式实现分布式程序设计，类似于Spring。
4.Pig:MapReduce的一个抽象，它是一个工具/平台（所以说它并不完全是一门语言），用于分析较大数据集，并将其表示为数据流；
5.Zookeeper：分布式集群管理、master选举、消息发布订阅、数据存储、分布式锁等等。分布式协调服务，用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等
6.Hbase:Hadoop下的分布式数据库，类似于NoSQL? ? ?
7.Hive:数仓工具，Hive进行数据离线批量处理时，需将查询语言先转换成MR任务，由MR批量处理返回结果，所以Hive没法满足数据实时查询分析的需求。
8.Sqoop:用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签： #hadoop组件及功能
