头图

为什么Kubernetes和容器与机器学习密不可分?

原文出自infosecurity

作者:Rebecca James

京东云开发者社区编译

当前,数字化转型的热潮在IT领域发展的如火如荼,越来越多的企业投身其中,机器学习和人工智能等现代技术的融合在公司组织内部也逐渐流行起来。

随着那些构成企业复杂IT基础架构的技术日益成熟,部署云原生环境以及在该环境中使用容器早已成为企业技术轨道中的“家常便饭”。

幸运的是,对于企业所有者而言,Kubernetes和容器部署技术不仅可以与机器学习技术并驾齐驱,而且可以引入到云原生模型中,从而为企业提供良多裨益,包括实施有效的业务策略以及安全性的培养。

当我们谈到机器学习时,你会想到什么?机器的应用场景是多种多样的 -- 从简单的欺诈/网络犯罪侦查,到量身定制的客户体验,再到像供应链优化这样复杂的操作,一切都证明了机器学习能够为企业所带来的丰厚利润。

此外,Gartner的预测进一步证明了机器学习所提供的众多优势,该预测指出,到2021年,70%的企业都将依赖于某种形式的人工智能。

人工智能在业务中的应用

企业若想充分利用人工智能和机器学习,并将其应用于DevOps和DevSecOps等新业务组中,他们必须拥有可靠的IT基础架构。

强大的IT环境能够为数据科学家提供尝试各种数据集、计算模型和算法的环境,而不会影响其他操作,也不会给IT人员造成损失。

为了在业务中有效实现机器学习,企业需要找到一种在本地和云环境中重复部署代码的方法,并建立与所有所需数据源的连接。

对于现代企业而言,时间是帮助他们实现目标的基本工具,因此,他们迫切需要一种支持快速开发代码的IT环境。

说到容器,容器通过将代码及其特定的运行要求打包在“包装”中,从而加快了企业应用程序的部署过程,这一特性使容器成为了企业的理想选择,也因此成为了机器学期和人工智能的理想搭档。

综上所述,基于容器环境下进行的人工智能项目的三个阶段,包括探索、训练模型和部署,是非常有潜力的。每个阶段具体又包括什么呢?下文将对这三个阶段展开说明。

01 探索
在构建AI模型时,数据科学家们遵循的规范是尝试不同的数据集以及各种ML算法,以确定要使用的数据集和算法,以便他们可以提高预测水平效率和准确性。

通常,数据科学家依靠大量的库和框架来为不同行业中的各种情况和问题创建ML模型。当数据科学家们试图发现新的收入来源并努力实现企业的业务目标时,他们还需要具备运行测试并快速执行测试的能力。

尽管AI技术的使用日新月异,但已有数据表明,令数据科学家和工程师使用容器化开发的企业比其竞争者更据优势。

渥太华DevOps工程师Gary Stevens的一份报告指出,加拿大网络托管提供商HostPapa的表现优于其他领先的网络托管提供商,这要归功于它早早地采用了Kubernetes。

在AI或ML项目的探索阶段结合容器,能够使数据团队根据他们的特定领域,自由打包库;相应地部署算法,并根据团队需求明确正确的数据源。

随着基于容器的程序(例如Kubernetes)的成功实施,数据科学家有权访问隔离的环境。这使得他们可以自定义探索过程,而不必在共享环境中管理多个库和框架。

02 模型训练
设计完模型后,数据科学家需要利用大量数据,跨平台训练AI程序,以最大程度地提高模型的准确性,并减少任何人工资源的使用。

考虑到训练AI模型是一项高度计算密集型操作的事情,容器被证明在扩展的工作负荷以及快速与其他节点通信方面非常有利。但是,通常情况下IT团队的成员或调度程序会确定最佳节点。

此外,通过容器进行现代数据管理平台进行数据训练,极大地影响并简化了AI模型中的数据管理流程。此外,数据科学家还具有在多种不同类型的硬件(例如GPU)上运行AI或ML项目的优势,这也使他们能够一直使用那些最具准确性的硬件平台。

03 部署
作为AI项目中最棘手的部分,在机器学习应用程序的生产和部署阶段中可能经常会出现多个ML模型的组合,而每个模型都有其不同的用途。

通过在ML应用程序中结合容器,IT团队可以将每个特定模型部署为单独的微服务。那么,微服务又是什么?微服务是指一个独立的轻量级程序,开发人员能够在其他应用程序中重复使用该程序。

容器不仅为快速部署ML和AI模型提供了一个可移植的、隔离且一致的环境,也拥有可能改变当今IT格局的能力,那就是使企业能够更快更好地实现其目标。

原文链接:https://www.infosecurity-maga...


京东云技术新知
京东云最新产品信息、技术干货以及最新活动发布,拥抱技术,与开发者携手创造未来!

京东云开发者(Developer of JD Technology)是京东云旗下为AI、云计算、IoT等相关领域开发者提供技术分...

2k 声望
5.1k 粉丝
0 条评论
推荐阅读
利用Jackson序列化实现数据脱敏
在项目中有些敏感信息不能直接展示,比如客户手机号、身份证、车牌号等信息,展示时均需要进行数据脱敏,防止泄露客户隐私。脱敏即是对数据的部分信息用脱敏符号(*)处理。

京东云开发者1

封面图
SegmentFault 思否宣布将接入百度「文心一言」,提升开发者获取知识的效率
作为中国领先的新一代开发者社区,我们以「凝聚集体智慧,推动技术进步」为使命,长期关注前沿技术发展及产业应用。2023 年 2 月 11 日,ChatGPT for SegmentFault 浏览器插件上线,SegmentFault 成为了国内首个...

SegmentFault思否11阅读 3.2k评论 1

对 ChatGPT 做一次技术面试(ChatGPT 没能通过)
问:对一个系统的描述如下:系统中有大量注册用户,用户可以关注其他用户。用户可以发布消息,消息包含发布者、发布时间和可见性。消息的可见性可以是公开、不公开或仅对关注自己的用户可见。请设计这个系统的数...

捏造的信仰8阅读 1.7k评论 1

封面图
张晋涛:我的 2022 总结
大家好,我是张晋涛。2022 年已经结束,我每年都会惯例的做个小回顾,今年因为阳了在恢复身体,一直拖到了今天才写。生活在 2022 年初做回顾的时候,觉得 2021 是魔幻的一年,但现在看来 2022 年其实更加魔幻。一...

张晋涛6阅读 1.1k评论 2

封面图
超详细的ChatGPT注册教程来了
最近一周,大家都在讨论ChatGPT,一些主流的技术社区更是将ChatGPT吹的神乎其技,那ChatGPT是什么呢?又能给我们带来哪些变化呢?。带着这些问题,我打算先注册并使用 ChatGPT,供想要体验 ChatGPT 的小伙伴们参考。

xiangzhihong4阅读 3.1k评论 3

使用 🧨 Diffusers 实现 ControlNet 高速推理
自从 Stable Diffusion 风靡全球以来,人们一直在寻求如何更好地控制生成过程的方法。ControlNet 提供了一个简单的迁移学习方法,能够允许用户在很大程度上自定义生成过程。通过 ControlNet,用户可以轻松地使用...

HuggingFace3阅读 1.3k

封面图
搭个ChatGPT算法模型,从哪开始?
最近 ChatGPT 很火,火到了各行各业。记得去年更多的还是码农最新体验后拿它搜代码,现在各行各业都进来体验,问它咋理财、怎么写报告和给小孩起名。😂 也因此让小傅哥在头条的一篇关于 ChatGPT 的文章都有了26万...

小傅哥6阅读 1.4k

封面图

京东云开发者(Developer of JD Technology)是京东云旗下为AI、云计算、IoT等相关领域开发者提供技术分...

2k 声望
5.1k 粉丝
宣传栏