机器学习周志华

一、什么是机器学习？ 先来看一则开场白： 看完这段话，可以发现这里涉及了很多基于“经验”而做出的判断。换句话说就是：通过对经验的利用，就能对新的情况做出有效的决策。 ** 机器学习定义是什么呢： **笔者摘录了两则，大家批评接受 —>①：机器学习它致力于研究如何通过计算手段，利用“经验”来改善系统自身的性能。计算机里“经验”通常以“数据”形式存在，因此机器学习所研究的主要内容，是关于计算机上从数据中产生“模型”的算法（也叫“学习算法”）。有了学习算法，我们把经验数据输入，计算机就能基于已有数据建立模型。当面临新情况（新数据）时，模型会给我们提供相应的判断。简短来说，机器学习是研究关于“学习算法”的学问。（摘录周志华《机器学习》） —>②：机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或预测。（摘录吴岸城《神经网络与深度学习》） —> 笔者小注：两则定义选取角度不同，各从内涵外延出发进行阐述。机器学习主体研究还是各种算法，通过算法对新数据进行预测，同时也包含数据模型的建立与分析。 – —- —- —- —- —- —- —- —- —- —- —- —– —- —- —- —- —- —- —- — —- —- —- – 依据机器学习的方式分类 先了解一下会用到的基本术语： 学习：从数据中学得模型的过程，也叫训练 训练集

心血来潮，想将所学到的知识写篇博客，作者所研究的方向为机器学习，刚学习的时候，走了很多弯路，看的书不少，在推导机器学习一些算法时候遇到了不少困难，查了不少资料，在刚才学的时候，有很多公式推导起来很困难，或者说大多数人都会遇到这样的问题，本博客目的就是解决在机器学习公式推导过程中遇到的问题。 关于机器学习的参考书，周志华的机器学习，李航的统计学习方法，及国外的PRML都是不错的阅读材料。还有Andrew Ng的网上课程。相关链接在本博客最后。 本博客以周志华机器学习为背景，在阅读中，不断抛出疑问，然后在博客中一一解答。 一. 线性模型及其核化 1.1 线性模型 解答 1.为什么要用均方误差呢？ 2.公式3.10的推导。 3.当X^TX不是满秩的情况下，w如何确定 4.怎么样去核化 下面为大家共享出一些资料。 参考资料： [1] 机器学习周志华 [2] 矩阵分析与应用 [3] 统计学习方法 [4] 机器学习导论 https://pan.baidu.com/s/1c0Jo8e 密码：41ib 来源： CSDN 作者： 猪先生1994 链接： https://blog.csdn.net/qq_19645269/article/details/78127785

学习机器学习必须具备一定的研究基础，应该仔细学习《模式识别与机器学习》，详略难易得当。由于内容选取的少而精，所以作者可以深入浅出的介绍每一种模型，不会因为太过简略而使读者疑惑，同时对于高阶的内容又点到为止，使得整本书的难度保持在了一个对于初学者可以接受的范围内。基本上，当年看这本书时，就是把它当成一个个的tutorial来看。比如在学EM算法的时候，主要就是以这本书的内容为主，配合网上其他资源学习。这一点在学习Graphical model的时候更加明显。众所周知这个领域比较经典的著作是Probabilistic GraphicalModels以及Bayesian Reasoning and Machine Learning，但是这是两本大部头的书，一开始读起来会比较吃力。而本书的作者Bishop本身就是搞Bayesian learning以及graphical model的，PRML这边书用几章的内容就把这个领域最核心的概念以及方法解释了一遍，不得不让人佩服作者的功力。 《模式识别与机器学习》内容选取得当。书中所介绍的所有模型以及算法，放到今天，依然是理解学习ML最最基本的组成部分，这些内容，对于读者了解更高级的算法，几乎都是必不可少的。这本书并没有试图涵盖当时所有的机器学习算法，而是精选了ML里面最本质最fundamental的方法，由此可以看出

本文约 11000 字， 建议阅读 20 分钟。 本文为你整理周志华教授的角度深度神经网络之所以获得成功的本质因素，找到神经网络之外的其它的深度模型。 8 月 10 日至 16 日，IJCAI 2019 在中国澳门隆重召开。14 日下午， 南京大学周志华 教授进行特邀大会演讲，演讲主题是 《Deep Learning: Why deep and is it only doable for neural networks?》 。在演讲中，周志华教授从自己的角度解读了深度神经网络之所以获得成功的本质因素，以及如何在兼顾这些因素的同时，找到神经网络之外的其它的深度模型。 我们把演讲全文整理如下。 一、深度学习就等于深度神经网络吗？ 深度学习今天已经有各种各样的应用，到处都是它，不管图像也好，视频也好，声音自然语言处理等等。那么我们问一个问题，什么是深度学习？ 我想大多数人的答案，就是深度学习差不多就等于深度神经网络。有一个非常著名的学会叫 SIAM，是国际工业与应用数学学会，他们有一个旗舰的报纸叫 SIAM news。在去年的 6 月份，这个报纸的头版上就有这么一篇文章，直接就说了这么一句话， 说深度学习是机器学习中使用深度神经网络的的子领域。 所以如果我们要谈深度学习的话，是绕不开深度神经网络的。 首先我们必须从神经网络说起。神经网络其实并不是一个新生事物