2024年hadoop常见笔试题答案VIP免费

Hadoop测试题一．填空题，1分（41空），2分（42空）共125分1.(每空1分)datanode负责HDFS数据存储。2.(每空1分)HDFS中的block默认保留3份。3.(每空1分)ResourceManager程序一般与NameNode在一种节点启动。4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。5.(每空1分)Hadoop集群搭建中常用的4个配置文献为：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。6.(每空2分)HDFS将要存储的大文献进行分割，分割后寄存在既定的存储块中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而处理了大文献储存与计算的需求。7.(每空2分)一种HDFS集群包括两大部分，即namenode与datanode。一般来说，一种集群中会有一种namenode和多种datanode共同工作。8.(每空2分)namenode是集群的主服务器，重要是用于对HDFS中所有的文献及内容数据进行维护，并不停读取记录集群中datanode主机状况与工作状态，并通过读取与写入镜像日志文献的方式进行存储。9.(每空2分)datanode在HDFS集群中担任任务详细执行角色，是集群的工作节点。文献被提成若干个相似大小的数据块，分别存储在若干个datanode上，datanode会定期向集群内namenode发送自己的运行状态与存储内容，并根据namnode发送的指令进行工作。10.(每空2分)namenode负责接受客户端发送过来的信息，然后将文献存储位置信息发送给client，由client直接与datanode进行联络，从而进行部分文献的运算与操作。11.(每空1分)block是HDFS的基本存储单元，默认大小是128M。12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到3个互相独立的硬件上，这样可以迅速恢复损坏的数据。13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode汇报错误，并祈求namenode排除错误的datanode后，重新根据距离排序，从而获得一种新的的读取途径。假如所有的datanode都汇报读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream并不会立即关闭。客户端向Namenode汇报错误信息，并直接向提供备份的datanode中写入数据。备份datanode被升级为首选datanode，并在其他2个datanode中备份复制数据。NameNode对错误的DataNode进行标识以便后续对其进行处理。15.(每空1分)格式化HDFS系统的命令为：hdfsnamenode–format。16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh。17.(每空1分)启动yarn的shell脚本为：start-yarn.sh。18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh。19.(每空1分)hadoop创立多级目录（如：/a/b/c）的命令为：hadoopfs–mkdir–p/a/b/c。20.(每空1分)hadoop显示根目录命令为：hadoopfs–lsr。21.(每空1分)hadoop包括的四大模块分别是：Hadoopcommon、HDFS、Mapreduce、yarn。22.(每空1分)namenode默认的WebUI访问端口号为：50070。23.(每空1分)ResourceManager默认的WebUI访问端口号为：8088。24.(每空1分)historyServer默认的WebUI访问端口号为：19888。25.(每空1分)修改blocksize大小的属性是：dfs.blocksize，在hdfs-site.xml配置文献里。26.(每空1分)HDFS中namenode的RPC端口号为：8021，其作用是：接受Client连接的RPC端口，用于获取文献系统metadata信息。27.(每空2分)Mapper类中有4个函数。28.(每空1分)默认NameNode周期性从DataNode接受心跳信号的时间间隔为：3s。29.(每空1分)hadoop集群默认机架感知是启用的。与否对的：错误。30.(每空2分)HadoopMap/ReduceShuffle过程：inputsplit-->map函数—>内存缓冲区Partitionsortcombinespill-->map端merge-->reduce端copy—>mergereduce函数。31.(每空2分)一种NodeManager可以同步运行最大reduce任务数（默认）：2。32.(每空2分)默认状况下，一种同步运行了namenode，secondarynamenode和ResourceManager的主节点，所使用的内存容量为3000M。33.(每空2分)Hadoop集群中有三种作业调度算法，分别为FIFO调度，计算能力调度和公平调度。34.(每空1分)HA产生的背景是：为了处理单NN也许出现宕机导致集群不可用或数据丢失的问题。35.(每空1分)通过Zookeeper管理两...