Hadoop精华问答 | Hadoop框架中最核心的设计是什么？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。

1

Q：hadoop发展史

A：

2

Q：Hadoop 有哪些优点/span>

A：Hadoop 是一个能够让用户轻松架构和使用的分布式计算的平台。用户可以轻松地在 Hadoop 发和运行处理海量数据的应用程序。其优点主要有以下几个：

(1) 高可靠性 ： Hadoop 按位存储和处理数据的能力值得人们信赖。

(2) 高扩展性 ： Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以干计的节点中。

(3) 高效性 ： Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

(4) 高容错性 ： Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分。

(5) 低成本 ： 与一体机、商用数据仓库以及 QlikView、 Yonghong Z- Suites 等数据集市相比，Hadoop 是开源的，项目的软件成本因此会大大降低。

Hadoop 带有用 Java 语言编写的框架，因此运行在 linux 生产平台上是非常理想的， Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。

3

Q：Hadoop框架中最核心的设计

A：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop?Distributed?File?System）的缩写，为分布式计算存储提供了底层支持。

4

Q：HDFS的架构

A：主从结构

 ?主节点， namenode

 ?从节点，有很多个: datanode

namenode负责：

 ?接收用户操作请求

 ?维护文件系统的目录结构

 ?管理文件与block之间关系，block与datanode之间关系

datanode负责：

        ?存储文件

  ?文件被分成block存储在磁盘上

  ?为保证数据安全，文件会有多个副本

Secondary NameNode负责：

  合并fsimage和edits文件来更新NameNode的metedata

5

Q：Hadoop中的RPC机制

A：同其他RPC框架一样，Hadoop RPC分为四个部分：

（1）序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的Writable类型；

（2）函数调用层：Hadoop RPC通过动态代理以及java反射实现函数调用；

（3）网络传输层：Hadoop RPC采用了基于TCP/IP的socket机制；

（4）服务器端框架层：RPC Server利用java NIO以及采用了事件驱动的I/O模型，提高RPC Server的并发处理能力。

小伙伴们冲鸭，后台留言区等着你！

关于Hadoop，今天你学到了什么有哪些不懂的此还对哪些话题感兴趣strong>快来留言区打卡啦！留言方式：打开第XX天，答：……

同时欢迎大家搜集更多问题，投稿给我们！风里雨里留言区里等你~

福利

1、扫描添加小编微信，备注“姓名+公司职位”，加入【云计算学习交流群】，和志同道合的朋友们共同打卡学习！

2、公众号后台回复：白皮书，获取IDC最新数据白皮书整理资料！

推荐阅读：

• 一场全能的开发者大会，来自助力开发者成功进阶的华为云

• 抖音微博等短视频千万级高可用、高并发架构如何设计/span>

• 20大5G关键技术

• Fast.ai：从零开始学深度学习 | 资源帖

• 10个简单小窍门带你提高Python数据分析速度（附代码）

• 程序员爬取 3 万条评论，《长安十二时辰》槽点大揭秘！

• 暗网竟成比特币最大用户上半年5.15亿美元被用于非法活动

  真香，朕在看了！

来源：csdn业界要闻