博客
关于我
【MapReduce】---- MR 框架原理 之 Shuffle机制
阅读量:329 次
发布时间:2019-03-04

本文共 581 字,大约阅读时间需要 1 分钟。


文章目录


♑ 定义

Map方法之后,Reduce方法之前的数据处理过程称之为Shuffle。


♑ Map方法之后Shuffle过程

在这里插入图片描述

主要包括以下几步:

   ♬ 分区

  • 在溢写之前对环形缓冲区中的数据集进行分区操作

   ♬ 排序

  • 在溢写之前对环形缓冲区中分区的数据集进行排序,按照分区进行

   ♬ Combiner(可选)

  • 在溢写到磁盘之前,如果是汇总操作,可以利用Combiner对数据进行分区合并,最终溢写到磁盘上

   ♬ 分区归并排序

  • 将分区上的数据集进行归并,同一分区上的数据集合并,排序(如果符合条件还可以继续进行Combiner合并)

   ♬ 压缩

  • 对处理好的数据进行压缩

   ♬ 写磁盘

  • 将压缩好的数据写到磁盘上,按分区输出


♑ Reduce方法之前Shuffle过程

在这里插入图片描述

主要包括以下几步:

   ♬ 拷贝

  • 将map处理输出的同一分区数据拷贝到内存中,若内存不够,溢出到磁盘中(同时开启一个RecuceTask来处理该分区的数据)

   ♬ 归并排序

  • 将内存和磁盘上的数据集进行归并,也就是在每个开启的ReduceTask中,对从不同MapTask中拉取过来的相同分区的数据进行合并,之后对每个ReduceTask上合并的总数据集再进行排序。

   ♬ 分组

  • 对归并好的数据按照相同的key进行分组,等待reduce()来对同组数据进行处理,也就是相同key的数据进入同一个reduce()方法。


转载地址:http://ckeq.baihongyu.com/

你可能感兴趣的文章
Mysql学习总结(64)——Mysql配置文件my.cnf各项参数解读
查看>>
Mysql学习总结(65)——项目实战中常用SQL实践总结
查看>>
Mysql学习总结(66)——设置MYSQL数据库编码为UTF-8
查看>>
Mysql学习总结(67)——MYSQL慢查询日志
查看>>
Mysql学习总结(68)——MYSQL统计每天、每周、每月、每年数据 SQL 总结
查看>>
Mysql学习总结(69)——Mysql EXPLAIN 命令使用总结
查看>>
Mysql学习总结(6)——MySql之ALTER命令用法详细解读
查看>>
Mysql学习总结(70)——MySQL 优化实施方案
查看>>
Mysql学习总结(71)——MySQL 重复记录查询与删除总结
查看>>
Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
查看>>
Mysql学习总结(72)——MySQL 开发者开发,设计规范再总结
查看>>
Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
查看>>
Mysql学习总结(74)——慢SQL!压垮团队的最后一根稻草!
查看>>
Mysql学习总结(75)——并发量大、数据量大的互联网业务数据库设计军规
查看>>
Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
查看>>
Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
查看>>
Mysql学习总结(78)——MySQL各版本差异整理
查看>>
Mysql学习总结(79)——MySQL常用函数总结
查看>>
Mysql学习总结(7)——MySql索引原理与使用大全
查看>>
Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
查看>>