近几年来，机器学习飞速开展，展开机器学习实验变成大事一桩。有了scikit-learn和Keras这样的资源库，只需几行代码，就能创立模型。

但是，把数据迷信项目转变成有意义的运用顺序(比如公告团队决策或融入产品的模型)却愈加困难。传统的机器学习项目触及许多不同的技艺组合，想同时掌握全部技艺，即使不是绝无能够也绝非易事——那些稀有的既能开发优质软件，又能唱工程师的数据迷信家即为独角兽!

机器学习范围愈加成熟，许多任务都将融合软件、工程和数学知识，一些任务已然如此了。

援用传奇数据迷信家、工程师、批判察看家Vicki Boykis博客《数据迷信现已不同》中的话：“在热潮前期，数据迷信渐渐与工程学靠拢。不言而喻的是，数据迷信家所需技艺的可视性将削弱、数据依赖性将降低，且会愈加倾向传统计算机迷信课程。”

为什么数据迷信家需求了解DevOps

有那么多工程和软件技艺，数据迷信家应该学习什么呢?我选DevOps。

DevOps是开发和运营的合称，它于2009年在比利时的一场会议中降生。该会议旨在缓解技术组织中开发、运营因长期的庞大分歧而产生的紧张态势。软件开发人员需求快速产出、频繁实验，而运营团队则优先思索效劳的波动性及可用性(这群人让效劳器全天候运转)。其目的统一，彼此之间更是竞争关系。

这不由令人想到当下的数据迷信。经过实验，数据迷信家发明价值：用新方式建模、组合、转换数据。同时，聘用数据迷信家的技术组织更看重波动性。

这种分歧波及范围普遍：最新的Anaconda数据迷信状况报告显示，以为本人能诠释数据迷信对其组织影响的受访者不足一半(48%)。据估量，数据迷信家创立的模型大多被置之不理。我们目前没有十分可行的方式，能在建模团队及部署团队间传递模型。数据迷信家、开发者及落实二者任务的工程师有着一模一样的工具、限制及技艺。

DevOps的出现旨在处置开发者和运营者之间的软件僵局，并取得了极大成功：许多团队部署新代码的频率从数月一次变为一天数次。如今面对的是机器学习和运营的对立，MLOps这一为数据迷信效劳的DevOps准绳闪亮退场。

图源：unsplash

继续集成

DevOps既是实际，又是实际，它包括：

自动化一切事物

快速取得新想法的反应

增加任务流中的手动交接

在典型的数据迷信项目中，存在如下运用：

自动化一切事物。重复且可预测的部分数据处置、模型训练及模型测试皆可自动化。

快速取得新想法的反应。当数据、代码或软件环境发作变化时，在类消费环境下迅速对其停止测试(即，消费中有依赖项和限制的机器)。

增加任务流中的手动交接。尽能够为数据迷信家找寻模型测试的时机，切勿等到开发人员在消费环境下检测模型效果再举动。

为完成以上目的，DevOps采用的标准是继续集成(continuous integration, CI)。关键在于，改动项目源代码时(普通是经过git commits更改)，软件被自动创立并测试，每个行为都会失掉反应。通常，CI与创立新功用Git分支的软件开发活动模型Git-flow配合运用。功用分支经过自动测试便可候选并入主分支。

CI在软件开发进程中的表示图

由此即可完成自动化——改动代码触发自动构建，测试紧随其后。由于迅速失掉测试结果，便可以失掉快速反应，因此，开发者能对代码停止重复迭代。并且，由于一切皆为自动，无需等候别人反应，完成零切换。

所以，我们为什么不运用已存在于机器学习中的CI呢?我将部分归因于文明，比如数据迷信与软件工程群体的低交叉性。

另一部分就是技术缘由。比如，了解模型功用，需查看准确率、特异度和敏感度等目的。要了解模型的功用，就需求查看准确率、特异度和灵感度等目的。数据可视化(如混杂矩阵或损失图)或许会对此有所协助。所以，测试经过/失败并不会阻碍反应。若要了解模型能否失掉改良，我们需求了解以后成绩范围的知识，所以测试结果需求以高效且可人为诠释的方式报道。

机器学习项目中的延续集成

继续集成系统如何运作?

如今，看看典型的CI系统如何运作。多亏了GitHub Actions和GitLab CI这类图像界面明晰且为新手提供详细操作文档的工具，学习CI系统的门槛降至最低。由于GitHub Actions对开源项目完全收费，我们就用它举例：

其运作方式如下：

(1) 树立一个GitHub仓库。创立名为.github/workflows的目录，在目录中放置一个特殊的.yaml文件，其中包含要运转的脚本，如：

$ python train.py 

(2) 更改项目库内文件，git commit更新，然后提交到GitHub库。

# Create a new git branch for experimenting$ git checkout -b "experiment" 

$ edit train.py# git add, commit, and push your changes 

$ git add . && commit -m "Normalized features" 

$ git push origin experiment 

(3) 检测到推送，GitHub立刻在其中一台计算机上运转.yaml文件的函数。

(4) GitHub弹出通知，能否成功运转函数。

(责任编辑：admin)