高斯过程

1 总述 对于贝叶斯优化，总体可以分为两个部分，概率代理模型和采集函数。 2 概率代理模型和采集函数 概率代理模型：根据模型的参数个数是否固定可分为：参数模型和非参数模型。常见的参数模型有：贝塔-伯努利(Beta-Bernoulli)模型和线性(linear)模型。常见的非参数模型有高斯过程、随机森林等。本文介绍应用范围最广的高斯过程。 采集函数：主要根据后验概率代理模型，选择下一个具有潜力的评估点。 2.1 高斯过程 由于高斯过程的参数维度随着观测点的增加而增加，非固定，因此被归类为非参数模型（并非没有参数）。 高斯过程可以看成是一个函数，这个函数的输入是 x t + 1 x_{t+1} x t + 1 ​ ，函数的输出是在当前输入 x t + 1 x_{t+1} x t + 1 ​ 下的预测值在高斯分布下的均值和方差。 在训练中，主要涉及协方差矩阵的计算和超参数的优化。 2.2 采集函数 采集函数：对于采集函数需要一方面尽可能的探测未知的空间（未评估过的参数组合），这样概率代理模型才能更加接近真实的未知函数。另一方面，根据已经找到的最优值，加大在其周围搜索参数的力度，以期更加迅速的找到全局最优值。这两方面往往是矛盾的，需要在两者之间找到一个平衡点。常见的采集函数有三种：probability of improvenment(PI)、Expected improvement(EI

介绍 AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(Neural Optimizer Search)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂数据，其他的由机器一条龙完成，而且还能比人肉优化出来人牛X。它们本质上都是大规模空间中的最优参数搜索问题，因此很多方法基本都是相通的。其中网络架构的搜索(Neural Architecture Search, NAS)一直是业界主要研究对象，各种云服务也开始推出相关的服务。一开始的时候，这项技术需要依赖巨大的计算成本。随着各种改进，它的算力需求大大减少，使得它开始有可能飞入寻常百姓家。之前写过一篇简单讨论了相关的技术 《神经网络架构搜索（Neural Architecture Search）杂谈》 ，这里就不重复了。本文主要学习一下 Auto-Keras 这个开源项目中的实现，使用它我们可以在本地进行网络架构搜索。官方有一篇相关的paper介绍- Auto-Keras: An Efficient Neural Architecture Search System 。 安装过程很简单，详见