特征向量

Gram定义 n维欧式空间中任意k个向量之间两两的内积所组成的矩阵，称为这k个向量的格拉姆矩阵(Gram matrix) 根据定义可以看到，每个Gram矩阵背后都有一组向量，Gram矩阵就是由这一组向量两两内积得到的，先说一下向量内积是做什么的。 向量的内积,也叫向量的点乘，对两个向量执行内积运算，就是对这两个向量对应位一一相乘之后求和的操作，内积的结果是一个标量。例如对于向量a和向量b： a和b的内积公式为： 两个向量的内积有什么用呢？ 一个重要的应用就是可以根据内积判断向量a和向量b之间的夹角和方向关系（详细推导可参见： https://blog.csdn.net/dcrmg/article/details/52416832 ），具体来说： a·b>0 方向基本相同，夹角在0°到90°之间 a·b=0 正交，相互垂直 a·b<0 方向基本相反，夹角在90°到180°之间 简单来说就是内积可以反映出两个向量之间的某种关系或联系 。Gram矩阵是两两向量的内积组成的，所以 Gram矩阵可以反映出该组向量中各个向量之间的某种关系 。 风格迁移中的Gram矩阵 深度学习中经典的风格迁移大体流程是： 1. 准备基准图像和风格图像 2. 使用深层网络分别提取基准图像（加白噪声）和风格图像的特征向量（或者说是特征图feature map） 3. 分别计算两个图像的特征向量的Gram矩阵

不同于人类，计算机「看待」世界有自己的方式。为了达到类似人类的视觉水平，各种算法层出不穷，本篇就来窥探其冰山一角。 机器之心原创，作者：陈萍。 我们生活的世界是一个三维物理空间。直观而言，三维视觉系统有助于机器更好地感知和理解真实的三维场景。三维视觉作为计算机视觉的一个比较重要的研究方向，在过去几十年间得到了扎实和系统地发展，形成了一套完整的理论体系。近年来，随着三维成像技术如激光雷达、TOF 相机及结构光等的快速发展，三维视觉研究再次成为研究热点。 在 上一篇文章 中，我们对 3D 视觉基础相关内容进行了概括性总结，本文我们将进行比较深层次的介绍，主要涉及 3D 视觉算法及其应用领域。 3D 目标检测多模态融合算法 基于视觉的目标检测是环境感知系统的重要组成，也是计算机视觉、机器人研究等相关领域的研究热点。三维目标检测是在二维目标检测的基础上，增加目标尺寸、深度、姿态等信息的估计。相比于二维目标检测，三维目标检测在准确性、实时性等方面仍有较大的提升空间。 在目标检测领域，2D 目标检测方面发展迅速，出现了以 R-CNN、Fast RCNN、Mask RCNN 为代表的 two-stage 网络架构，以及以 YOLO、SSD 为代表的 one-stage 网络架构。然而由于 2D 图像缺乏深度、尺寸等物理世界参数信息，在实际应用中存在一定局限性，往往需要结合激光雷达

一.状态估计的解释 我们知道每个方程都受噪声的影响，这里把位姿x和路标y看成服从某种概率分布的随机变量。因此我们关心的问题就变成了：当我们已知某些运动数据u和观测数据z时，如何确定状态量x，y的分布？ 比较常见且合理的情况下，我们假设状态量和噪声项服从高斯分布---这意味着在程序中只需存储它们的均值和协方差即可。 均值可看作是对变量最优值的估计，而协方差矩阵度量了它的不确定性。 如果认为k时刻状态只与k-1时刻状态有关，而与再之前无关，我们就会得到以卡尔曼滤波（EKF）为代表的滤波器方法，在滤波方法综合那个，我们会将某时刻的状态估计，推导到下一时刻； 另一种方法考虑k时刻状态与之前所有状态的关系，将得到以非线性优化为主体的优化框架。目前SLAM的主流是非线性优化方法。 二.EKF [1] 卡尔曼滤波 -- 从推导到应用(一) 卡尔曼滤波 -- 从应用(一) 到 (二) 高斯分布，又称为正态分布： 正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为 钟形曲线 。若 随机变量 X服从一个 数学期望 为μ、 方差 为σ^2的正态分布，记为N(μ，σ^2)。其 概率密度函数 为正态分布的 期望值 μ决定了其位置，其 标准差 σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是 标准正态分布 。 1.协方差的几何意义 样本方差的无偏估计可以通过以下方式获得

参数 参数分为两种：可学习得到的参数，和超参数。 机器学习可以归结为学习一个映射函数f : x → y，将输入变量 x映射为输出变量y。一般我们可以假设映射函数为y = f(x, θ)。其中θ 即为函 数的参数。参数可以通过学习算法进行学习。 除了可学习的参数之外，还有一类参数是用来定义模型结构或训练策略的， 这类参数叫做超参数（Hyper-Parameter）。超参数和可学习的参数不同，通常是按照人的经验设定，或者通过网格搜索（Grid Search）对一组超参数组合进行不断试错调整。 常见的超参数：聚类算法中的类别个数、梯度下降法的步长、正则项的系数、神经网络的层数、支持向量机中的核函数等。 特征学习 特征学习分成两种：特征选择和特征抽取。 特征选择（Feature Selection） 是选取原始特征集合的一个有效子集，使得基于这个特征子集训练出来的模型准确率最高。简单地说，特征选择就是保留有用特征，移除冗余或无关的特征。 最暴力的做法是测试每个特征子集，看机器学习模型哪个 子集上的准确率最高，但这种方式效率太低。常用的方法是采样贪心的策略，由空集合开始，每一轮添加该轮最优的特征；或者从原始特征集合开始，每次删 除最无用的特征。 特征抽取（Feature Extraction）是构造一个新的特征空间，并将原始特征 投影在新的空间中。以线性投影为例，原始特征向量x ∈ R d

　　PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。 　　当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。 1. 数据的向量表示及降维问题 　　一般情况下，在数据挖掘和机器学习中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下： (日期, 浏览量, 访客数, 下单数, 成交数, 成交金额) 　　 　　其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子： 　　 　　注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则。不过为了方便有时我会省略转置符号，但我们说到向量默认都是指列向量。 　

深度学习调参有哪些技巧？ 编辑：Amusi | 来源：知乎 https://www.zhihu.com/question/25097993 目录 一、为什么要学习调参？ 二、调参技巧 1. 评价指标： 2. 损失函数： 3. 激活函数选择： 4. 学习率设定： 5. 优化器选择： 6. batch_size 7. 防止过拟合： 8. 残差块与BN层： 9. 数据预处理【对输入】 10.参数随机初始化【对参数】 11.自动调参方法： 12. 过程、结果可视化 13. 关于卷积神经网络的技巧 三、心态类： 深度学习的效果很大程度上取决于参数调节的好坏，那么怎么才能最快最好的调到合适的参数呢？求解 一、为什么要学习调参？ 相信很多刚开始接触深度学习朋友，会感觉深度学习调参就像玄学一般，有时候参数调的好，模型会快速收敛，参数没调好，可能迭代几次loss值就直接变成Nan了。 记得刚开始研究深度学习时，做过两个小例子。 一个是用tensorflow构建了一个十分简单的只有一个输入层和一个softmax输出层的Mnist手写识别网络，第一次我对权重矩阵W和偏置b采用的是正态分布初始化，一共迭代了20个epoch，当迭代完第一个epoch时，预测的准确度只有10%左右（和随机猜一样，Mnist是一个十分类问题），当迭代完二十个epoch，精度也仅仅达到了60%的样子

来源：人工智能AI技术 本文 约3400字 ，建议阅读 7 分钟 本文介绍我们被NeurIPS 2020会议录用的一篇文章。 本文主要介绍我们被NeurIPS 2020会议录用的一篇文章：Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification。 论文： https://arxiv.org/abs/2010.05300 代码和预训练模型已经在Github上面放出： https://github.com/blackfeather-wang/GFNet-Pytorch 这项工作提出了一个通用于 绝大多数CNN 的自适应推理框架，其效果比较明显，在同等精度的条件下， 将MobileNetV3的平均推理速度加快了30%，将ResNet/DenseNet加速了3倍以上，且在iPhone XS Max上的实际测速和理论结果高度吻合。 此外，它的计算开销可以简单地 动态在线调整，无需额外训练。 （太长不看版）下面一张图可以概括我们做的事情：将图像识别建模为序列决策过程，先将缩略图输入神经网络（Glance），再不断选择最关键的图像区域进行处理（Focus，利用强化学习实现），直至网络产生一个足够可信的预测结果时停止；对于简单和困难的样本分配不同的计算资源，以提升整体效率。

前言 AI（人工智能）现在火的一塌糊涂，其实在AI领域，机器学习已广泛应用在搜索引擎、自然语言处理、计算机视觉、生物特征识别、医学诊断、证券市场分析等领域，并且机器学习已经是各大互联网公司的基础设施，不再是一个新鲜的技术。但当你真的开始学习机器学习的时候，就会发现上手门槛其实还挺高的，这主要是因为机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 本文主要介绍一下机器学习涉及到的一些最常用的的数学知识，方便大家在学习机器学习的时候，能扫除一些基础障碍。 标量（scalar） 标量是一个单独的数，一般用普通小写字母或希腊字母表示，如 等。 向量（vector）相关 向量的定义 把数排成一列就是向量，比如： 向量一般用粗体小写字母或粗体希腊字母表示，如 等（有时候也会用箭头来标识，如 ），其元素记作 。 向量默认为列向量，行向量需要用列向量的转置表示，例如 等。 物理专业视角：向量是空间中的箭头，决定一个向量的是它的长度和方向 计算机专业视角：向量是有序的数字列表 数学专业视角：向量可以是任何东西，只要保证两个向量相加以及数字与向量相乘是有意义的即可 运算规则 向量的加法和数量乘法定义： 加法 相同维数的向量之间的加法为： 数量乘法 任意的常数 和向量的乘法为： 在给定数 及向量 的情况下 张成空间 张成空间是向量 和

二、线性代数 行列式 1.行列式按行（列）展开定理 (1) 设 ，则： 或 ，即 ， 其中： (2) 设 为 阶方阵，则 ，但 不一定成立。 (3) , 为 阶方阵。 (4) 设 为 阶方阵， （若 可逆）， (5) ， 为方阵，但 。 (6) 范德蒙行列式 设 是 阶方阵， 是 的 个特征值，则 矩阵 矩阵： 个数 排成 行 列的表格 称为矩阵，简记为 ，或者 。若 ，则称 是 阶矩阵或 阶方阵。 矩阵的线性运算 1.矩阵的加法 设 , 是两个 矩阵，则 矩阵 称为矩阵 与 的和，记为 。 2.矩阵的数乘 设 是 矩阵， 是一个常数，则 矩阵 称为数 与矩阵 的数乘，记为 。 3.矩阵的乘法 设 是 矩阵， 是 矩阵，那么 矩阵 ， 其中 称为 的乘积，记为 。 4. 、 、 三者之间的关系 (1) (2) 但 不一定成立。 (3) ， 但 不一定成立。 (4) 5.有关 的结论 (1) (2) (3) 若 可逆，则 (4) 若 为 阶方阵，则： 6.有关 的结论 可逆 可以表示为初等矩阵的乘积； 。 7.有关矩阵秩的结论 (1) 秩 =行秩=列秩； (2) (3) (4) (5) 初等变换不改变矩阵的秩 (6) ，特别若 则： (7) 若 存在 若 存在， 。 (8) 只有零解 8.分块求逆公式 ； ； ； 这里 ， 均为可逆方阵。 向量 1.有关向量组的线性表示 (1)

　　朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。对于大多数的分类算法，在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。比如决策树，KNN，逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数，要么是条件分布。但是朴素贝叶斯却是生成方法，该算法原理简单，也易于实现。 1，基本概念 　　朴素贝叶斯 ：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类时贝叶斯分类中最简单，也是最常见的一种分类方法。 　　贝叶斯公式 ： （X：特征向量， Y：类别） 　　先验概率P(X) ：先验概率是指根据以往经验和分析得到的概率。 　　后验概率P(Y|X) ：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，后验分布P(Y|X)表示事件X已经发生的前提下，事件Y发生的概率，叫做事件X发生下事件Y的条件概率。 　　后验概率P(X|Y) ：在已知Y发生后X的条件概率，也由于知道Y的取值而被称为X的后验概率。 　　朴素 ：朴素贝叶斯算法是假设各个特征之间相互独立，也是朴素这词的意思那么贝叶斯公式中的P(X|Y)可写成： 　　朴素贝叶斯公式 ： 2，贝叶斯算法简介 　　NaiveBayes算法，又称朴素贝叶斯算法。朴素：特征条件独立；贝叶斯