目前大数据计算分析主要用到的计算模型有MapReduce(离线批处理),图并行计算,交互式处理(Iteractive Processing),流计算(Streaming),内存计算(In-memory Computing),大规模并行处理(Massively Parallel Processing)等。
MapRedcue是一种支持分布式计算环境的并行处理模型。MapRedcue程序运行在由多态计算机组成的Master/Slave集群架构上(一个Master节点,多个Slave节点,Master节点负责任务调度和管理,Slave节点执行具体的计算任务)。
包括Split(数据划分)Map(映射)Collerct&Sort(聚合排序也称Shuffle)Reduce(简化)、以及Store(数据存储)5个步骤。
MapRedcue的编程接口对上述步骤进行了封装,用户只需定义自己的MAP()和Reduce()函数即可以完成数据集的循环迭代计算。具体过程为:程序从分布式文件系统读入大数据集并切分为Split(分片)、Map函数处理Split并输出中间结果,Shuffle把中间结果分区排序整理后发送给Reduce函数、Reduce完成具体计算任务并将最终结果写入文件系统。

Logo

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区,共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐