干货|50个大数据面试问题及答案第四篇:Hadoop开发人员新手面试问题

不知不觉已经更新三期了,目前慧都给大家分享了30个大数据和hadoop面试的问题和答案,接着前几期的内容我们将跨入Hadoop开发者面试环节,来看看Hadoop开发者新人面试会有哪些问题,并给出参考答案,供您学习。

还是接着上次分享的内容开始,如果还没有看过前三期的小伙伴,可以根据自己的需要自行观看。

《干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题》

《干货|50个大数据面试问题及答案第二篇:10个大数据面试中级问题 》

《干货|50个大数据面试问题及答案第三篇:10个大数据Hadoop面试问题》

马上开始我们今天的分享,祝您在面试的时候能有所帮助!

10个Hadoop开发人员新手面试的问题

Hadoop开发人员面试并不容易。如果您是一个新人,请学习Hadoop概念并做好准备。熟悉不同的文件系统,Hadoop版本,命令,系统安全性等。以下几个问题将帮助您通过Hadoop开发人员面试。

31. Hadoop中有哪些不同的配置文件/strong>

答: Hadoop中的不同配置文件是:

  • core-site.xml -此配置文件包含Hadoop核心配置设置,例如I / O设置,对于MapReduce和HDFS非常常见。它使用主机名端口。
  • mapred-site.xml -此配置文件通过设置mapreduce.framework.name指定MapReduce的框架名称
  • hdfs-site.xml -此配置文件包含HDFS守护程序配置设置。它还指定HDFS上的默认阻止权限和复制检查。
  • yarn-site.xml -此配置文件指定ResourceManager和NodeManager的配置设置。

32. Hadoop 2和Hadoop 3有什么区别/strong>

答:以下是Hadoop 2和Hadoop 3之间的区别如图

干货|50个大数据面试问题及答案第四篇:Hadoop开发人员新手面试问题

33.如何在Hadoop中实现安全性/strong>

答: Kerberos用于在Hadoop中实现安全性。在高级别使用Kerberos时,有3个步骤来访问服务。每个步骤都涉及与服务器的消息交换。

  1. 身份验证 -第一步是将客户端身份验证到身份验证服务器,然后向客户端提供带时间戳的TGT(票证授予票证)。
  2. 授权 -在此步骤中,客户端使用收到的TGT从TGS(票证授予服务器)请求服务票证。
  3. 服务请求 -这是在Hadoop中实现安全性的最后一步。然后,客户端使用服务票证向服务器验证自己。

34.什么是商品硬件/strong>

答:商品硬件是一种低成本系统,由可用性较低和质量较差的系统识别。商品硬件包括RAM,因为它执行许多需要RAM执行的服务。一个不需要高端硬件配置或超级计算机来运行Hadoop,它可以在任何商用硬件上运行。

35. NFS如何与HDFS不同/strong>

答:有许多分布式文件系统以自己的方式工作。NFS(网络文件系统)是最古老和最流行的分布式文件存储系统之一,而HDFS(Hadoop分布式文件系统)是最近使用和流行的处理大数据的系统。 NFS和HDFS之间的主要区别如下 –

干货|50个大数据面试问题及答案第四篇:Hadoop开发人员新手面试问题

36. Hadoop MapReduce如何工作/strong>

MapReduce操作分为两个阶段:

  • 映射阶段 – 在此阶段,输入数据由映射任务分割。地图任务并行运行。这些拆分数据用于分析目的。
  • 减少阶段 – 在此阶段,类似的拆分数据将从整个集合中聚合并显示结果。

37.什么是MapReduce于运行MapReduce程序的语法是什么/strong>

MapReduce是Hadoop中的一种编程模型,用于处理计算机集群上的大型数据集,通常称为HDFS。它是一种并行编程模型。

运行MapReduce程序的语法是 – hadoop_jar_file.jar / input_path / output_path 。

38. NameNode,任务跟踪器和作业跟踪器的端口号是什么/strong>

  • NameNode – 端口50070
  • 任务跟踪器- 端口50060
  • 工作追踪- 港口50030

39. HDFS中文件或目录级别的不同文件权限是什么/strong>

Hadoop分布式文件系统(HDFS)使用特定的文件和目录权限模型。

以下用户级别用于HDFS :

  • Owner
  • Group
  • Others

对于上面提到的每个用户,以下权限适用 :

  • 读(r)
  • 写(w)
  • 执行(x)。

上述权限对文件和目录的工作方式不同。

对于文件:

  • (r) 权限是用于读取文件
  • (w) 许可是写一个文件。

对于目录:

  • (r)权限列出内容的特定目录。
  • (w) 权限创建或删除一个目录。
  • 该(x) 许可是用于访问子目录。

40. Mapper的基本参数是什么/strong>

Mapper的基本参数是:

  • LongWritable和Text
  • 文本和IntWritable

欢迎拨打热线或咨询在线客服,我们将帮您转接大数据专家团队,并发送相关资料给您!

下期预告:干货|50个大数据面试问题及答案完结篇:经验丰富的Hadoop开发人员面试问题

标签:大数据解决方案

来源:慧都

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2019年1月8日
下一篇 2019年1月8日

相关推荐

发表回复

登录后才能评论