设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 2049|回复: 0

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十一讲Hadoop图文 ...

[复制链接]

3203

主题

3529

帖子

1万

积分

管理员

Rank: 18Rank: 18Rank: 18Rank: 18Rank: 18

积分
14257
发表于 2016-6-4 18:48:48 | 显示全部楼层 |阅读模式
这一讲我们主要剖析MapReduce的原理机制和流程。

“云计算分布式大数据Hadoop实战高手之路”之完整发布目录

云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!

关于MapReduce,你至少需要知道以下几点:
1,         MapReduce是运行于分布式文件系统之上的,在Hadoop中就是运行于HDFS之上的;
2,         MapReduce主要用于大规模数据的并行运算,这种大数据通过指1TB以上;
3,         MapReduce的运行原理是把一个大任务切割成很多并行运行的小任务,然后合并小任务运行完后的结果,从而得到最终结果;
下图是MapReduce运行过程图:
<p>
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表