要处理大数据，开发人员需要了解他们正在处理的业务问题，以及部署架构和数据。为了了解大数据，我们采访了21家公司的22位高管，他们正在帮助客户管理和优化他们的数据，以推动业务价值。我们的问题是：开发者在大数据项目上需要什么技能下是他们的的答案。
了解业务问题
1. 从数据中心的角度来看工作。你有什么数据、你想知道什么、你要怎么填补空白来解决问题/p>
2. 开发人员需要各种技能来处理大数据项目，其中包括以下三项至关重要的技能：A. 清楚地了解公司内部的业务目标范围，以及这些技术如何与各种技术保持一致。B. 在应用程序的中，开发人员需要了解他们正在处理的数据集的商业价值。C. 开发人员作为一个组织的一部分，需要有能够构建和管理一个应用程序的能力。
6. 如何处理大规模的数据。多用户的并发性应用程序开发人员可以快速获取语言了解数据生态系统的工作原理。
7. 开发人员需要使用编程语言、概率和统计，应用数学和算法来获得机器学习的上升趋势。他们还需要了解数据的上下文，最终用户将如何使用数据，以及如何重用数据。他们需要考虑分布式计算和架构，将数据管理恰当地分离到不同的区域，以保持大数据架构的组织性，敏捷性和安全性。DevOps原则也需要被应用到。通过参与整个软件交付流程，数据专家可以帮助其他团队了解软件在生产中面临的数据挑战类型。
8. 数据工程和数据科学是一个大的分支。虽然对数据科学的基本知识只需要有所掌握，但对不同数据技术的深入了解却是必要的。尽管NoSQL很受欢迎，但SQL仍然是查询数据的标准。开发人员需要了解不同的部署选项——云本地、容器和流行的部署选项。对数据库和系统概念(如一致性保证、事务边界、系统体系结构、保证和职责等)的良好理解将帮助开发人员了解环境、对技术进行分类、并识别他们应该研究的技术。
其他
1. 了解使用Apache Spark的AI/ML的开源选项。不要局限于大型框架，简化的框架可能更实用。
2. 对于Hadoop、MapReduce和Python来说，所需的技能非常不同。大多数开发人员都对这些技术有一定的兴趣。决定某一项技术，集中精力深入到那个领域。在JavaScript、Node、Java或移动设备上使用iOS构建应用程序。在分析中，有很多SQL，它不会消失。C和c++对性能有好处。Java和Python可能拥有最多的数据库支持。
文章知识点与官方知识档案匹配，可进一步学习相关知识Java技能树首页概览91536 人正在系统学习中 相关资源：Umi-OCR 批量图片转文字工具离线批量文字识别(图片转文字)软件.rar
来源：weixin_34075268
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！