贝叶斯

MOOC大学上的课程，做个学习笔记，方便以后复习回顾 教材是 1 绪论 1.1 AI概述 人工智能研究如何用硬件和软件实现智能的理智的行为，即搜索、推理、规划与学习，并在此之上去实现感知、认知与智能行为 人工智能自1956年诞生，经历2次低潮后，计算能力的提升为其提供良好的平台，多媒体数据的爆发性增长为期提供充足原料，AI先后战胜了人类象棋、围棋以及德州扑克的顶级选手，图像的识别与分类能力已经超越人类，指纹语音与人脸识别正在改变人机交互手段，各种类型的机器人运行在工厂和现实生活之中，人工智能的学术研究越来越深入，人工智能的创业者越来越多，人工智能正在改变我们的生活，世界上主要发达国家都把人工智能当做重大发展战略，力争在新一轮国际竞争中争得主动权，中国国务院于2017年7月8日印发《新一代人工智能发展规划》明确提出了中国人工智能发展战略为三步走，2020年，人工智能的应用技术与世界先进水平同步，2025年人工智能基础理论取得重大突破，2030年发展为世界主要的人工智能创新中心。所以说现在是人工智能的最好时期，有人担心人工智能会造成大批人失业，有人认为人工智能是威胁，有人游说人工智能可能引发第三次世界大战，更有人惧怕人工智能会毁灭人类，所以又说这是人工智能最有争议的时期。 1956年的“Dartmouth Summer Research Project on Artificial

引言 如果要将极大似然估计应用到线性回归模型中，模型的复杂度会被两个因素所控制：基函数的数目（的维数）和样本的数目。尽管为对数极大似然估计加上一个正则项（或者是参数的先验分布），在一定程度上可以限制模型的复杂度，防止过拟合，但基函数的选择对模型的性能仍然起着决定性的作用。 上面说了那么大一段，就是想说明一个问题：由于极大似然估计总是会使得模型过于的复杂以至于产生过拟合的现象，所以单纯的使用极大似然估计并不是特别的有效。 当然，交叉验证是一种有效的限制模型复杂度，防止过拟合的方法，但是交叉验证需要将数据分为训练集合测试集，对数据样本的浪费也是非常的严重的。 贝叶斯回归 基于上面的讨论，这里就可以引出本文的核心内容：贝叶斯线性回归。 贝叶斯线性回归不仅可以解决极大似然估计中存在的过拟合的问题。 它对数据样本的利用率是100%，仅仅使用训练样本就可以有效而准确的确定模型的复杂度。 在极大似然估计线性回归中我们把参数看成是一个未知的固定值，而贝叶斯学派则把看成是一个随机变量。 线性回归模型是一组输入变量的基函数的线性组合，在数学上其形式如下： 这里就是前面提到的基函数，总共的基函数的数目为个，如果定义的话，那个上面的式子就可以简单的表示为： 以下是对应的目标输出，即样本为，并且假设样本集合满足正态分布，参数也满足正态分布，和分别对应于与样本集合的高斯分布方差。 则参数满足以下分布：

MOOC大学上的课程，做个学习笔记，方便以后复习回顾 教材是 1 绪论 1.1 AI概述 人工智能研究如何用硬件和软件实现智能的理智的行为，即搜索、推理、规划与学习，并在此之上去实现感知、认知与智能行为 人工智能自1956年诞生，经历2次低潮后，计算能力的提升为其提供良好的平台，多媒体数据的爆发性增长为期提供充足原料，AI先后战胜了人类象棋、围棋以及德州扑克的顶级选手，图像的识别与分类能力已经超越人类，指纹语音与人脸识别正在改变人机交互手段，各种类型的机器人运行在工厂和现实生活之中，人工智能的学术研究越来越深入，人工智能的创业者越来越多，人工智能正在改变我们的生活，世界上主要发达国家都把人工智能当做重大发展战略，力争在新一轮国际竞争中争得主动权，中国国务院于2017年7月8日印发《新一代人工智能发展规划》明确提出了中国人工智能发展战略为三步走，2020年，人工智能的应用技术与世界先进水平同步，2025年人工智能基础理论取得重大突破，2030年发展为世界主要的人工智能创新中心。所以说现在是人工智能的最好时期，有人担心人工智能会造成大批人失业，有人认为人工智能是威胁，有人游说人工智能可能引发第三次世界大战，更有人惧怕人工智能会毁灭人类，所以又说这是人工智能最有争议的时期。 1956年的“Dartmouth Summer Research Project on Artificial

贝叶斯推断之最大后验概率(MAP) 本文详细记录贝叶斯后验概率分布的数学原理，基于贝叶斯后验概率实现一个二分类问题，谈谈我对贝叶斯推断的理解。 1. 二分类问题 给定N个样本的数据集，用 \(X\) 来表示，每个样本 \(x_n\) 有两个属性，最终属于某个分类 \(t\) $t=\left\{0,1\right\}$ $\mathbf{x_n}=\begin{pmatrix}x_{n1} \\ x_{n2} \\ \end{pmatrix}$， 假设模型参数$w=\begin{pmatrix} w_1 \\ w_2\end{pmatrix}$ $\mathbf{X}=\begin{bmatrix} x_1^T \\ x_2^T \\. \\. \\ x_n^T\end{bmatrix}$ 将样本集用用图画出来如下： 根据贝叶斯公式有： \[p(w|t,X)=\frac {p(t|X,w)p(w)} {p(t|X)} \] (公式1) \(p(w | t,X)\) 告诉我们：在已知训练样本集 \(X\) 以及这些样本的某个分类 \(t\) (这是一个监督学习，因为我们已经有了样本集 \(X\) 、以及样本集中每个样本所属的分类 \(t\) )，需要求解模型参数 \(w\) 。因此， \(w\) 是未知的，是需要根据样本通过贝叶斯概率公式来进行求解的。求得了 \(p(w|t,X)\)

　　 摘 要 　　近些年，互联网金融市场的蓬勃发展对传统金融行业造成了巨大冲击；与此同时，互联 网金融市场中积累的海量用户和交易数据为研究智能化、个性化、精准化的服务提供了 支持。本文通过大数据驱动的研究方法，分别针对互联网金融平台中的参与三方——用 户、金融产品和市场管理进行了系统性的研究。在真实互联网金融数据上的实验结果验 证了本研究中所提出方法的有效性。 　　 关 键 字 　　互联网金融；微观对象；数据挖掘；行为分析；推荐系统 　　 0引言 　　互联网金融是指传统金融机构或者互联网企 业利用互联网等信息技术实现资金融通、支付、 投资和信息中介等服务的新型金融业务模式。互 联网金融是目前金融科技（Fintech）领域的重要 形态和研究对象之一。相比于传统金融，互联网金融具有效率高、成本低、范围广、操作方便等 优势。但是，互联网金融模式也在一定程度上造 成了金融市场门槛降低、市场流动性增大，以及 监管困难等问题。 　　互联网金融市场的易变性和业务复杂性对传 统经济学、金融学的研究范式提出了挑战。与此 同时，互联网金融市场中积累的海量用户和交易数据，也为研究者深入探索互联网环境下金融市场的潜在价值，解决互联网金融市场中存在的问题，开发大数据驱动的智慧金融服务带来了全新的机遇。 　　基于以上背景，本文调研了互联网金融的现状，并采用数据驱动的研究方法对互联网金融市场的主要微观对象（用户

前言：介绍了最简单的 最大似然估计 ，距离实现「朴素贝叶斯」还有一些距离。在这篇文章，我想分享一下，我所理解的「最大似然估计 - 高斯分布」。 问题 （这里都是玩具数据，为了方便理解才列出） 0 1 2 3 4 5 6 7 8 9 10 11 12 X 1 2 3 4 4.2 4.4 4.6 4.8 5 6 7 8 y 0 0 0 0 1 1 1 1 0 0 0 0 假设 x = 4.9 用科学的办法估计 y 的分类。 预备知识 高斯分布的概率密度函数 高斯分布的概率密度函数 理解 通常用「概率密度函数」代替概率，仅仅去比较大小。还有其他的分布，我也没有去深挖 :)。而不是直接求出概率。这非常重要！！！ 求解问题 写出这个数据集的似然函数 还记得之前我们说过的「似然函数」吗？现在写出这个数据的「似然函数」 P(y=0 | x) = P(y=0 | x=1)P(y=0 | x=2)P(y=0 | x=3)P(y=0 | x=4)P(y=0 | x=5)P(y=0 | x=6)P(y=0 | x=7)P(y=0 | x=8) P(y=1 | x) = P(y=1 | x=4.2)P(y=0 | x=4.4)P(y=0 | x=4.6)P(y=0 | x=4.8) 似然函数的本质 描述出现这个情形的概率，最大化它即是是这个情形出现的概率最大。现在遇到了一个问题

本文首发自公众号： RAIS ​前言 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 构建复杂的机器学习算法 上一篇文章中我们介绍了什么叫做机器学习算法极其具体的定义和所关心的问题，比较简单，接下来的文章我们将介绍一些设计学习算法的基本准则。 误差 泛化：机器学习的目的是在新的输入上具有良好的表现，而不是已有的数据，这很好理解，在新的数据上表现良好的能力叫做 泛化 。 在机器学习中，总是存在误差的，百分之百的确定的事件已经不是机器学习研究的范围了。既然如此，就一定存在误差，训练过程在训练集上误差称作 训练误差 ，泛化后的在新的输入上的误差称为 泛化误差 或 测试误差 。我们都希望误差尽可能的小，并且相比较而言泛化误差减小更重要（毕竟解决问题才是最重要的）。 这里会遇到一个问题就是我们往往只能得到训练数据集，没有什么好的办法提前获取模型交付生产环境后所新输入的数据，针对这样的问题，我们往往在收集统计训练数据时，尽量接近实际生产环境，并且假设数据之间是 独立同分布 的，称为 数据生成分布 ，基于这样的原因，我们会假设训练误差和测试误差两者的期望是一样的。因此我们针对数据集，具体的做法就会是先尽可能的减小 训练误差 ，让模型在已有的数据上表现良好，然后再尽可能减小 测试误差 与训练误差之间的差距，这样就会得到一个测试误差较低的模型。

判别方法 ：由数据直接学习 决策函数 Y=f(X),或者由条件分布概率P(Y|X)作为预测模型为判别模型。 常见的 判别模型 有线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯蒂回归等算法。 生成方法 ：由数据学习x和y的 联合概率密度分布函 数P(Y,X)，然后通过贝叶斯公式求出条件概率分布P(Y|X)作为预测的模型为生成模型。 常见的 生成模型 有朴素贝叶斯、隐马尔科夫模型、高斯混合模型、文档主题生成模型(LDA)等。 举例 ： 判断一个动物是大象还是猫，记住大象是长鼻子就可以判别出哪个是大象，将大象和猫画出来与动物进行对比，那个像就是那个。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4354590/blog/3220630

判别方法 ：由数据直接学习 决策函数 Y=f(X),或者由条件分布概率P(Y|X)作为预测模型为判别模型。 常见的 判别模型 有线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯蒂回归等算法。 生成方法 ：由数据学习x和y的 联合概率密度分布函 数P(Y,X)，然后通过贝叶斯公式求出条件概率分布P(Y|X)作为预测的模型为生成模型。 常见的 生成模型 有朴素贝叶斯、隐马尔科夫模型、高斯混合模型、文档主题生成模型(LDA)等。 举例 ： 判断一个动物是大象还是猫，记住大象是长鼻子就可以判别出哪个是大象，将大象和猫画出来与动物进行对比，那个像就是那个。 人工智能更多面试问题关注公众号： 我们都是码农 (allmanong)，或者扫描下方二维码！ 来源： oschina 链接： https://my.oschina.net/u/4287823/blog/3220620

1.回归问题：输入变量和输出变量均为连续变量的预测问题。等价于函数拟合，回归模型表示输入变量到输出变量之间映射的函数。 2. 分类问题：输出变量为有限个离散变量的预测问题称为分类问题 3.标注问题：输入变量和输出变量均为变量序列的预测问题 4.假设空间：模型属于有输入空间到输出空间的映射的集合，这个集合就是假设空间。假设空间的确定意味着学习范围的确定。 5.统计学习方法的三要素：方法=模型+策略+算法。模型就是所要学习的条件概率或决策函数。 策略是从假设空间中按照什么样的准则学习或者选择最优模型，引入损失函数和风险函数。算法是指学习模型的具体计算方法。 6. 损失函数是f(x)和Y的非负实值函数，记作L(Y,f(x)), 常用的损失函数有（1）0-1损失函数，（2）平方损失函数，（3）绝对损失函数，（4）对数损失函数 7. 经验风险最小化：如最大似然估计，容易出现过拟合。 8. 结构风险最小化：等价于正则化，在经验风险上加上表示模型复杂度的正则化项或惩罚项。如贝叶斯估计中的最大后验概率估计 9.防止过拟合的方法：正则化和交叉验证。正则化项一般是模型复杂度 的单调递增函数，模型越复杂，正则化值就越大，可以是模型参数向量的范数。 10.分类问题可以用到的统计学习方法：k近邻法，感知机，朴素贝叶斯法，决策树，决策列表，统计斯谛回归模型，支持向量机，提升方法，贝叶斯网络，神经网络等 11