高性能计算与云计算实验三报告

下载后可任意编辑高性能计算与云计算 实验报告 ——Map/Reduce 编程学 院： 计算机科学与工程学院 班 级： 计算机软件 3 班 学生姓名： 钟鑫旺 学 号： 202430621083 指导老师： 胡金龙、董守斌 提交日期： 2024.1.4 下载后可任意编辑1． 实验目的本实验的目的是通过练习掌握 Map/Reduce 编程的知识和技巧:1)熟悉建立分布式高性能计算平台 Hadoop 的基本步骤2)掌握用 Map/Reduce 编写并行计算程序的基本方法3)了解 Map/Reduce 计算程序在 Hadoop 下的运行和调试机制2． 实验要求分组完成实验内容（2～4 个人）:1) 计算平台搭建2) 程序设计及实现3) 回答实验中提出的问题；4) 结果分析随实验报告，附代码、程序说明以及运行结果。3． 实验内容基于 Hadoop 平台通过并行计算解决串匹配的问题。4． Hadoop 计算平台搭建（1）以同组同学的多台计算机搭建一个完全分布式的 Hadoop 计算平台。（2）在搭建的平台上运行 WordCount 程序，输出结果。实验原理：Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的软件框架应用程序，但作为一个并行数据处理引擎，它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到 Google 开发的启发。这个流程称为创建索引，它将 Web 爬行器检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果。然后可以在整个 Web 搜索过程中使用这个结果从已定义的搜索参数中识别内容。最简单的 MapReduce 应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。main 函数将作业控制和文件输入/输出结合起来。在这点上，Hadoop 提供了大量的接口和抽象类，从而为 Hadoop 应用程序开发人员提供许多工具，可用于调试和性能度量等。MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。下载后可任意编辑5． Map/Reduce 编程 基于 MapReduce 实现以下任意一个并行算法：（1）并行串匹配算法（2）平行排序算法（3）最短路径算法（4）并行矩阵乘法（...