AI顺序员狠起来连本人的岗位都要干掉。随着AutoML研讨的深化，自动搜索最优的神经网络模型曾经变得越来越快。最近微软开源了他们的方案FLAMA，网络搜索功用比sota还要清楚提升，资源消耗降低为原来的十分之一！最重要的是它是Python库，三行代码就能彻底改造你的AutoML方案！

近年来，AutoML在自动化机器学习的设计方面曾经取得了庞大的成功，例如设计神经网络架构和模型更新规则。

神经架构搜索（NAS）是其中一个重要的研讨方向，可以用来搜索更好的神经网络架构以用于图像分类等义务，并且可以协助设计人员在硬件设计上找到速度更快、能耗更低的架构方案。

但AutoML 是一个十分消耗资源和时间的操作，由于它触及到少量的实验来扫除功用不强的架构，来找到一个具有良好功用的超参数配置。由于它的搜索空间通常十分大，因此需求一种有效的 AutoML 办法来更有效地搜索它们。

AutoML 中超参数搜索的资源和时间消耗可归结为以下两个要素:

1. 少量的候选超参数的组合实验需求找到一个功用良好的配置；

2. 每个超参数的都需求很长时间来评价功用，由于评价进程包括训练模型和在一个给定的数据集上验证机器学习模型功用。

如此糜费时间，怎样忍？微软最近就带了他们FLAML（Fast Lightweight AutoML），即快速的、轻量化的AutoML库。

论文的第一作者是雷德蒙德微软研讨院的首席研讨员，研讨主要集中在与数据平台和数据迷信相关的实际和系统之间的相互作用，追求快速，经济，可扩展和适用的处置方案与实际保证。

他在清华大学取得了计算机迷信学士学位，在伊利诺伊大学厄巴纳-香槟分校计算机迷信系完成了博士学位。

FLAML是一个轻量级Python库，可以自动、高效、经济地查找准确的机器学习模型，用户无需为每个learner选择详细运用的模型和超参数。

它速度快，还省钱，复杂轻量级的设计使得这个库很容易扩展，例如添加定制的learner或评价目的。

FLAML 应用搜索空间的结构同时优化成本和模型功用。它包含由微软研讨院开发的两个新办法：

1. 成本浪费优化 Cost-Frugal Optimization (CFO)

成本浪费优化对搜索进程中对cost是十分敏感的，搜索办法从一个低成本的初始点末尾，逐渐移动到一个较高的成本区域，同时优化给定的目的(如模型损失或准确度)。

2. BlendSearch

Blendsearch 是 CFO 的扩展，它结合了 CFO 的节省和贝叶斯优化的探求才能。与 CFO 一样，BlendSearch 需求一个低成本的初始点作为输入(假设存在这个点的话) ，并从这个点末尾搜索。但是，与 CFO 不同的是，BlendSearch 不会等到本地搜索完全收敛之后才尝试新的终点。

这两个办法的灵感来源主要源于传统的机器学习模型：

1. 许多机器学习算法都有超参数，这会招致训练成本的大幅度变化。例如，一个有10棵树的 XGBoost 模型比一个有1000棵树的模型训练得更快。

2. 参数的cost通常是延续的、分歧的，也就是说评价10棵树比评价100棵树的速度要更快，而评价100棵树要比评价500棵树更快。

这两个思绪提供了关于成本空间中超参数的有用的结构信息，CFO 和 BlendSearch，可以有效地应用这些启示式办法来降低搜索进程中产生的成本，而不影响到最优解的收敛性。

在验证FLAML的有效性时，在最新的 AutoML 基准测试中，FLAML 可以在超过62% 的义务上只运用10% 的计算资源，就可以取得与最先进的 AutoML 处置方案相反或更好的功用。

FLAML 的高功用归功于其快速的优化办法，CFO和BlendSearch应用搜索空间的结构来选择功用优秀和成本低的搜索顺序。在有限的预算约束条件下，可以对搜索效率产生很大的影响。

FLAML应用搜索空间的结构来选择针对成本和错误优化的搜索顺序。例如，系统倾向于在搜索的末尾阶段提出更复杂、快速的配置，但在搜索的前期阶段需求时，会迅速转向具有高模型复杂度和大样本量的配置。假设它在末尾时有利于复杂的学习者，但假设错误改善过于缓慢，则会对这种选择停止惩罚。

CFO 从一个低成本的初始点(在搜索空间中经过 low_cost_init_value 指定)末尾，并依据其随机本地搜索策略执行本地更新。应用这种策略，CFO 可以快速地向低损耗区域移动，表现出良好的收敛性。此外，CFO 倾向于在必要时避免探求高成本区域。进一步证明了该搜索策略具有可证明的收敛速度和有界的希冀代价。

(责任编辑：admin)