2017 大数据面试题及答案 来源:扣丁学堂 2017 年有不少大数据学员学成准备参加工作,在参加工作前最重要的一轮就是大数据的面试,小编收集了一些2017 大数据面试题及答案,希望可以帮到准备或者正在参加大数据面试的朋友们。 1. 下面哪个程序负责 HDFS 数据存储。答案C datanode a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2. HDfS 中的 block 默认保存几份? 答案A 默认3 分 a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 此题分析: hadoop 的集群是基于master/slave 模式,namenode 和 jobtracker 属于master, datanode 和tasktracker 属于slave, master 只有一个,而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上,所以通常secondary NameNode(运行在单独的物理机器上)和 NameNode 运行在不同的机器上。 JobTracker 和 TaskTracker JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和 NameNode 是针对数据存放来而言的 JobTracker 和 TaskTracker 是对于MapReduce 执行而言的 mapreduce 中几个主要概念,mapreduce 整体上可以分为这么几条执行线索:obclient, JobTracker与 TaskTracker。 1、 JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs, 并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task(即 MapTask 和 ReduceTask)并将它们分发到各个 TaskTracker 服务中去执行。 2、 JobTracker 是一个master 服务,软件启动之后JobTracker 接收Job, 负责调度Job 的每一个子任务 task 运行于TaskTracker 上,并监控它们,如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、 TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信,接收作业,并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的 DataNode 上。 4. Hadoop 作者 答案C Doug cutting a)Martin Fowler b)Kent Beck c)Doug cutting 5. HDFS 默认 Block Size 答案:B a)32MB b)64MB c)128MB (因为版本更换较快,这里答案只供参考) 6. 下列哪项...