BlendSearch 进一步将 CFO 运用的部分和全局搜索策略与全球搜索结合起来。详细来说,BlendSearch 维护一个全局搜索模型,并基于全局模型提出的超参数配置逐渐创立部分搜索线程。
它基于实时功用和损失进一步优化了全局搜索线程和多个部分搜索线程。在复杂的搜索空间状况下,如搜索空间包含多个不相交、不延续的子空间时,可以进一步提高 CFO 的效率。
相比最先进的超参数调优库 Optuna 取得的结果,FLAML运用9个维度的超参数调优 LightGBM,可以看到,FLAML 可以在更短的时间内完成更好的处置方案。
研讨人员停止了一个实验来反省 BlendSearch 和 Optuna (运用多变量 TPE 采样器)以及在高并行化设置中的随机搜索的功用。运用了来自 AutoML 基准测试的12个数据集的子集。每个优化运转是与16个实验并行停止20分钟,运用3倍的交叉验证,运用 ROC-AUC评价目的。这些实验用不同的随机种子重复了三次。
在12个数据集中,BlendSearch 在6个数据集中取得了最好的交叉验证分数。此外,与 Optuna 的1.96% 相比,BlendSearch 比随机搜索平均提高了2.52% 。值得留意的是,BlendSearch 运用单变量 Optuna-TPE 作为其全局搜索器ーー运用多变量 TPE 最有能够进一步提高分数。
此外,由于其低成本的办法,BlendSearch 在同一时间内评价的实验次数平均是其他搜索者的两倍。这表明 BlendSearch 和其他算法之间的差距会随着时间预算的添加而扩展。
FLAMA的运用也很复杂,首先运用pip停止安装。
假定提供了训练数据集并将其保存为 x _ train、 y _ train,义务是以60秒的时间预算调优 LightGBM 模型的超参数,代码如下所示。
除了LightGBM,FLAML 还为相关义务提供了丰厚的定制选项,如不同learner、搜索空间、评价度量等。
为了减速超参数优化,用户可以选择并行化超参数搜索,BlendSearch 可以在并行中很好地任务: 它应用了多个搜索线程,这些线程可以独立执行,而不会清楚降低功用。关于现有的优化算法(如贝叶斯优化算法)来说,并不是一切优化办法都可以并行处置。
为了完成并行化,FLAML 与 Ray Tune 停止集成中,Ray Tune 是一个 Python 库,可以经过边缘优化算法(edge optimization algorithms)来减速超参数调整。Ray Tune 还允许用户在不更改代码的状况下将超参数搜索从单个计算机扩展到集群上运转。
用户可以在 FLAML 中运用 Ray Tune,或许在 Ray Tune 中从 FLAML 运转超参数搜索办法来并行化的搜索,主要经过在 FLAML 中配置 n_concurrent _trials 参数可以完成并行。
【编辑引荐】
适用于计算机视觉的九大开源数据集
微软确认部分Windows 11电脑无法收到更新,用户:还有这种坏事?
微信小顺序获取微信誉户openid(含源代码)
微软新举措:Update新增通知告知以后设备能否兼容Windows 11
贝叶斯机器学习:经典模型与代码完成!
(责任编辑:admin)