Cloudera资讯|部署机器学习模型将面临的挑战以及如何解决它们

当您将这两个统计数据联系起来时，很明显，要部署和运行模型，必须克服一系列挑战。
本文将会介绍如何使您对这些挑战以及如何克服这些挑战有更深入的了解。

2019年，Cloudera组织在

以下各段将使您对这些挑战以及如何克服这些挑战有更深入的了解。

一块玻璃可以防碎

无论您处于机器学习开发的哪个阶段，如果使用点解决方案或孤立的工具集，都将为模型和业务创建漏洞。为了克服这个问题，您需要在一个整体的，统一的平台上进行操作，使您可以通过一个单一的窗格（从数据源到生产环境）查看操作。这将使您的团队更快地将ML模型从实验移至生产，并为您提供对数学和技术指标性能的精简见解。

拥有集成的主干将帮助您可视化数据（无论是图表，图形还是其他可视化效果），从而使您可以评估进度并快速进行迭代。它还可以提供自动化功能–如果缺少基准或检测到异常，则向您发送警报。

建立或破坏您的代码

ML探索的早期步骤要求您整理原始数据源，并为进行测试和建模做好准备。当您了解数据和问题时，代码将快速发展。如果您的数据工程和科学团队以孤立的方式工作（使用不同的解决方案），您将不可避免地遇到一个共同的挑战：您的生产系统将无法运行ML模型。

重写生产代码会大大减慢您的进度，从而浪费时间和金钱。为了克服这一（极其常见的）挑战，您应该考虑从一开始就进入生产和跨团队协作的样子。即使距离这个阶段还很遥远，也请考虑一个集成平台将为您的数据科学家和工程师长期提供的功能：在一个地方实时访问数据和模型。

这一点与确保您利用ML操作（MLOps）标准紧密相关。尽早（在平台的帮助下）做到这一点，以便您在团队和生产工作流中使用共同的语言。这样可以确保您的数据，代码和模型的结构能够在生产环境中正常运行，无论它们是本地还是在云中。

影子IT差距：浪费好精力的地方

无论我们是否在谈论机器学习，企业中的安全性都是至关重要的。如果没有正确的端到端基础架构，对整个机器学习工作的挑战（或威胁）可能变得孤立无援（影子IT）。如果您缺乏可见性并被迫对模型进行编码和重新编码，则会造成差距。IT漏洞是不良行为者和无尽隧道的避风港，在隧道中数据可能会丢失或混乱。您需要具有强大的端到端治理标准的统一平台，以确保流经生产环境的数据安全。

不要让基础架构阻止您

部署的重点是释放更大的业务价值-从可用的模型过渡到提供概率性预测和说明性见解的模型。

部署模型时，它们将占用大量数据和计算资源。您的基础架构必须能够支持这些工作负载。一个普遍的挑战是使数据和模型在内部部署和云环境之间无缝地移动，以进行工作流，例如突发计算密集型工作，在企业内或通过Web部署模型。当您没有灵活的环境时，几乎不可能扩展模型。

这里的关键是利用提供互操作性的平台。这将创建可以连续监视和控制的灵活工作流。设置好这些设置后，您还将有机会采用微服务，从而使您可以查看生产分析，从而帮助您快速迭代和扩展。

关于Cloudera

在 Cloudera，我们相信数据可以使今天的不可能，在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下， Cloudera推动了全球最大型企业的数字化转型历程。了解更多，请联系在线客服。

大数据专业团队为企业提供Cloudera大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打热线或咨询在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！

标签：

来源：慧都