特征函数

人工智能、机器学习及深度学习的起源和发展 发展时间线 第一阶段：人工智能起步期 1956—1980s 1956达特茅斯会议标志AI诞生 1957神经网络Perceptron被罗森布拉特发明 1970受限于计算能力，进入第一个寒冬 第二阶段：专家系统推广 1980s—1990s 1980 XCON专家系统出现，每年节约4000万美元 1986 BP ，Geoffrey Hinton提出了前馈算法，一个通过对输入数据按照重要进行排序的精准神经网络。 1989 卷积，Yann LeCun写了另外一篇旷世之作，描述了卷积神经网络。这些发现突破了计算机难以解决的问题，譬如从一张照片中找到一只猫。 1990——1991 人工智能计算机DARPA没能实现，政府投入缩减，进入第二次低谷 1997 IBM的DeepBlue战胜国际象棋冠军 1997 Schmidhuber发明了长短期记忆网络（LSTM） 第三阶段：深度学习 2000s—至今 2006 Hinton提出“深度学习”的神经网络 2011 苹果的Siri问世，技术上不断创新 2012 Google无人驾驶汽车上路（2009年宣布） 2012年，计算机视觉界顶级比赛ILSVRC中，多伦多大学Hinton团队所提出的深度卷积神经网络结构AlexNet一鸣惊人，同时也拉开了深度卷积神经网络在计算机视觉领域广泛应用的序幕。成功原因 大量数据，

1 监督学习 　　利用一组带标签的数据, 学习 从输入到输出的映射 , 然后将这种映射关系应用到未知数据, 达到 分类 或者 回归 的目的 　　(1) 分类: 当输出是离散的, 学习任务为分类任务 　　　　 　　　　输入: 一组有标签的训练数据(也叫观察和评估), 标签 表明了这些数据(观察)的所属类别, 图中"猫"和"狗"就是标签 　　　　输出: 分类模型根据这些训练数据, 训练自己的模型参数, 学习出一个适合这组数据的分类器, 当有新数据(非训练数据)需要进行类别判断, 就可以将这组数据作为输入送给学习好的 分类器 进行判断(得到标签) 　　　　训练集: 训练模型已经标注的数据, 用来建立模型发现规律 　　　　测试集: 已标注的数据, 只不过把标注隐藏了, 再送给训练好的模型, 比对结果与原来的标注, 评判该模型的学习能力　　 　　　　一般来说, 获得了一组标注好的数据, 70%当做训练集, 30%当做测试集 , 另外还有交叉验证法, 自助法来评估学习模型 　　　　评价标准 　　　　　　1) 准确率 　　　　　　　　所有预测对的 　　　　　　　　把正类预测成正类(TP) 　　　　　　　　把负类预测成负类(TN) 　　　　　　　　准确率 = (TP+TN)/总数量 　　　　　　2) 精确率 　　　　　　　　以二分类为例 　　　　　　　　预测为正的样本是真的正样本 　　　　　　　

0x01加壳 判断方法： 1.节区名字 2.熵　　加过壳的可执行文件有的节区为空熵等于0，可能所有数据全在一个一个节区里(大于0-7) 0x02行为 探查行为 FindFirstFile() FindNextFile()获取特定目录中所有文件列表 Process32First() Process32Next()获取当前系统中运行的进程列表 　函数存在于kernel32.dll 攻击行为 1.进程创建 创建进程，运行攻击命令，进程名修改为类似系统正常进程．或者远程下载恶意代码　　CreateProcess() 2.文件处理 创建恶意文件运行所需的新文件，伪造删除特定文件　CreateFile() ReadFile() WriteFile() DeleteFile() 3.钩取 拦截系统设备或进程间通信的信息，事件．　SetWindowsHookEx() 通信行为 WSASocket(),bind(),connect(),listen(),send(),recv() wsock32.dll es2_32.dll InternetOpenUrl()等　　　　　　　　　　　　　　　wininet.dll 隐匿行为 Rootkit技术使用API　SetwindowsHHookEx(),VirtualAllocEx(),CreateRemoteThread(),OpenProcess()

支持向量机（support vector machine, SVM）是一种二类分类模型，它的基本模型是 定义在特征空间上的间隔最大的线性分类器 ，间隔最大使它有别于感知机； 支持向量机还包括核技巧，这使它成为实质上的非线性分类器， 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题， 也等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。 支持向量机学习方法包含创建由简至繁的模型。 线性可分支持向量机、线性支持向量机及非线性支持向量机。 简单模型是复杂模型的基础，也是复杂模型的特殊情况。 当训练数据线性可分时，通过硬间隔最大化（hard margin maximization），学习一个线性的分类器，即 线性可分支持向量机 （也叫硬间隔支持向量机）。 当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即 线性支持向量机 ， 又称为软间隔支持向量机； 当训练数据线性不可分时，通过使用核技巧（kenel trick）及软间隔最大化，学习 非线性支持向量机 。 当输入空间为欧式空间或者离散集合、特征空间为希尔伯特空间时，核函数（kernel function）表示将输入从输入空间映射到特征空间得到的特征向量之间的内积。 通过核函数可以学习非线性支持向量机

这里写自定义目录标题 概率和统计是一个东西吗？ 概率函数与似然函数 最大似然估计（MLE） 最大后验概率估计 最大后验估计的例子 贝叶斯派观点 VS 频率派观点 贝叶斯定理 朴素贝叶斯分类器 朴素贝叶斯分类器实例 贝叶斯网络 贝叶斯网络的结构形式 因子图 从贝叶斯网络来观察朴素贝叶斯 概率和统计是一个东西吗？ 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 举个例子，我想研究怎么养猪（模型是猪），我选好了想养的品种、喂养方式、猪棚的设计等等（选择参数），我想知道我养出来的猪大概能有多肥，肉质怎么样（预测结果）。 统计是，有一堆数据，要利用这堆数据去预测模型和参数。 仍以猪为例。现在我买到了一堆肉，通过观察和判断，我确定这是猪肉（这就确定了模型。在实际研究中，也是通过观察数据推测模型是／像高斯分布的、指数分布的、拉普拉斯分布的等等），然后，可以进一步研究，判定这猪的品种、这是圈养猪还是跑山猪还是网易猪，等等（推测模型参数）。 一句话总结： 概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。 显然， 本文解释的MLE(最大似然估计)和MAP（最大后验估计）都是统计领域的问题。它们都是用来推测参数的方法(不是推测模型

转载请注明作者和出处： http://blog.csdn.net/john_bh/ 论文链接: PointConv: Deep Convolutional Networks on 3D Point Clouds 作者及团队：Zhengxia Zou & Zhenwei Shi & Yuhong Guo & Jieping Ye 会议及时间： CVPR 2019 code: github:https://github.com/DylanWusee/pointconv 文章目录 Abstract 1.Introduction 1.1. 作者为什么研究这个课题？ 1.2. 目前这个课题的研究进行到了哪一阶段？ 3. PointConv 3.1. Convolution on 3D Point Clouds 3.2. Feature Propagation Using Deconvolution 4. Efficient PointConv 5. Experiments 5.1. Classification on ModelNet40 5.2. ShapeNet Part Segmentation 5.3. Semantic Scene Labeling 5.4. Classification on CIFAR10 6. Ablation Experiments and

　　有些知识还是记录下来比较容易复习。 　　懂原理， 会使用平台，使用语言实现常见算法。 1.大纲 　　机器学习的基本概念 　　机器学习的实质 　　机器学习方法的三要素 　　经验风险与结构风险 　　常见损失函数 一：基本概念 1.机器学习的方法流程 　　用监督学习为例 　　 　　首先，有一个输入数据，然后根据这个输入数据做一些特征的加工和整理，基于特征进行模型的训练，去建模，然后做模型评估，得到一个可以接受的模型，然后对模型就行部署，使用模型对业务进行应用。 　　定期更新模型，对模型生命周期进行维护。 2.输入空间与输出空间 　　输入空间（input space）：将输入的所有可能取值的集合称作输入空间 　　输出空间（output space）：将输出的所有可能取值的集合作为输出空间 　　输入空间与输出空间可以是有限元素的集合，也可以是欧式空间 　　输出空间与输出空间可以是连续值的集合，也可以是离散集合 　　输入空间与输出空间可以是同一个空间 　　通常，输出空间比输入空间小 3.特征空间 　　特征：每个输入实例的各个部分称为原始特征，基于特征还可以扩展出衍生特征 　　特征向量：多个特征组合的集合 　　特征空间：将特征向量存在的空间称为特征空间 　　特征空间每一维都对应一个特性 　　特征空间可以与输入空间相同，也可以不同 　　需要将实例从输入空间映射到特征空间 　

文章目录 YOLO发展概述 YOLO v1~v3的设计历程 Yolov1 1. 核心思想 2. **网络结构** 3. Loss函数 4. 训练过程 5 .总结 Yolov2 1. 核心思想 2. 网络结构 3. Loss函数 4. 训练过程 5. 数据增强 6. 总结 Yolov3 1. 核心思想 2. 网络结构 3. loss 函数 4. 训练过程 5. Darknet框架 # YOLOv3原理 YOLO发展概述 2015 年，R-CNN 横空出世，目标检测 DL 世代大幕拉开。 各路豪杰快速迭代，陆续有了 SPP，fast，faster 版本，至 R-FCN，速度与精度齐飞，区域推荐类网络大放异彩。 奈何，未达实时检测之，难获工业应用之青睐。 此时，凭速度之长，网格类检测异军突起，先有 YOLO，继而 SSD，更是摘实时检测之桂冠，与区域推荐类二分天下。然却时遭世人诟病。 遂有 JR 一鼓作气，并 coco，推 v2，增加输出类别，成就 9000。此后一年，作者隐遁江湖，逍遥 twitter。偶获灵感，终推 v3，横扫武林！ YOLO不断吸收同化对手，进化自己，提升战斗力：YOLOv1 吸收了 SSD 的长处（加了 BN 层，扩大输入维度，使用了 Anchor，训练的时候数据增强），进化到了 YOLOv2； 吸收 DSSD 和 FPN 的长处，仿 ResNet 的

转自：数据标准化/归一化normalization 这里主要讲连续型特征归一化的常用方法。离散参考[ 数据预处理：独热编码（One-Hot Encoding） ]。 基础知识参考： [ 均值、方差与协方差矩阵 ] [ 矩阵论：向量范数和矩阵范数 ] 数据的标准化（normalization）和归一化 数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上。 目前数据标准化方法有多种，归结起来可以分为直线型方法(如极值法、标准差法)、折线型方法(如三折线法)、曲线型方法(如半正态性分布)。不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。 归一化的目标 1 把数变为（0，1）之间的小数 主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。 2 把有量纲表达式变为无量纲表达式 归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。 比如，复数阻抗可以归一化书写：Z = R + jωL = R(1 +

1、 梯度下降算法 的正确步骤是什么？ a.计算预测值和真实值之间的误差 b.重复迭代，直至得到网络权重的最佳值 c.把输入传入网络，得到输出值 d.用随机值初始化权重和偏差 e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差 A.abcde B.edcba C.cbaed D.dcaeb 解析：正确答案 D ，考查知识点-深度学习。 2、已知： - 大脑是有很多个叫做神经元的东西构成，神经网络是对大脑的简单的数学表达。 - 每一个神经元都有输入、处理函数和输出。 - 神经元组合起来形成了网络，可以拟合任何函数。 - 为了得到最佳的神经网络，我们用梯度下降方法不断更新模型 给定上述关于神经网络的描述，什么情况下 神经网络模型 被称为深度学习模型？ A.加入更多层，使神经网络的深度增加 B.有维度更高的数据 C.当这是一个图形识别的问题时 D.以上都不正确 解析：正确答案 A ，更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型，目前如果有超过2层的隐层，那么也可以及叫做深度模型。 3、训练 CNN 时，可以对输入进行旋转、平移、缩放（增强数据）等预处理提高模型泛化能力。这么说是对，还是不对？ A.对 B.不对 解析： 对 。如寒sir所说，训练CNN时，可以进行这些操作。当然也不一定是必须的，只是data augmentation扩充数据后，模型有更多数据训练