权重 | 易学教程

leetcode 264. 丑数 II 及 313. 超级丑数

阅读更多关于 leetcode 264. 丑数 II 及 313. 超级丑数

264. 丑数 II 题目描述编写一个程序，找出第 n 个丑数。丑数就是只包含质因数 2, 3, 5 的正整数。示例: 输入: n = 10 输出: 12 解释: 1, 2, 3, 4, 5, 6, 8, 9, 10, 12 是前 10 个丑数。说明: 1. 1 是丑数。 2. n 不超过1690。想法三指针法。一部分是丑数数组，另一部分是权重2，3，5。下一个丑数，定义为丑数数组中的数乘以权重，所得的最小值。那么，2该乘以谁？3该乘以谁？5该乘以谁？其一，使用三个指针idx[3]，告诉它们。比如，2应该乘以ugly[idx[0]]，即数组中的第idx[0]个值。（权重2，3，5分别对应指针，idx[0],idx[1],idx[2]）其二，当命中下一个丑数时，说明该指针指向的丑数乘以对应权重所得积最小。此时，指针应该指向下一个丑数。（idx[]中保存的是丑数数组下标）其三，要使用三个并列的if让指针指向一个更大的数，不能用if-else。因为有这种情况：丑数6，可能由于丑数2乘以权重3产生；也可能由于丑数3乘以权重2产生。丑数10，... 等等。其四，因为第一个丑数一定是1，因此循环从1开始而不是从0开始。代码 class Solution { public: int nthUglyNumber(int n) { vector<int> uglynum

网络权重初始化方法总结（上）：梯度消失、梯度爆炸与不良的初始化

阅读更多关于网络权重初始化方法总结（上）：梯度消失、梯度爆炸与不良的初始化

目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考博客： blog.shinelee.me | 博客园 | CSDN 前向传播与反向传播回顾神经网络的训练过程可以简化成以下步骤，输入预处理（feature scaling等）初始化网络weight和bias 前向传播，得到网络输出计算损失函数，得到当前损失反向传播，根据链式法则，逐层回传得到损失函数对当前参数的偏导，根据梯度下降算法对当前参数进行更新重复步骤3 4 5，直到损失不再减小，即收敛一个简单的前向传播和反向传播的示意图如下，线性组合和非线性激活交替进行，线性组合层可以为全连接层或卷积层等，图片来自链接，梯度下降算法的参数更新公式为， \[ W(t+1)=W(t)-\eta \frac{d C}{d W} \] 其中 \(C=J(W)\) 为损失函数，即通过参数的偏导对参数进行更新。反向传播时，由链式法则，偏导反向回传，逐层计算损失函数对当前参数的偏导。对某个参数的偏导为一串因子的乘积，因子依次为损失函数对网络输出的偏导、激活函数的偏导、线性组合的偏导、激活函数的偏导、线性组合的偏导……如下面所示（来自链接），这里，损失为二分之LMS，用 \(C\) 表示， \(z\) 为线性组合的输出（激活层的输入）， \(a\) 为激活层的输出（线性组合的输入），

SEO关键词策略

阅读更多关于 SEO关键词策略

seo 关键词策略选择关键词的六大技巧列出在整个行业内自己知道或者心中所想的所有关键词，最少列 30 个分析竞争对手的网站，看都用了哪些关键词咨询周围的朋友平时在搜索相关产品的时候会使用哪些关键词平时多关注网站的流量统计，寻找关键词参考信息百度指数给出的关键词信息百度搜索页面最下方的相关搜索前期调研工作如何寻找关键词方法一：百度搜索风云榜（ http://top.baidu.com ）方法二：百度指数首页（ http://index.baidu.com ）方法三：百度下拉框提示，挖掘把握相关热门词的长尾关键词方法四：利用站长工具（ seo.chinaz.com www.aizhan.com ）方法五：飞鲁达长尾词查询工具关键词竞争度分析方法一：有指数的关键词，进入百度前 50 后就有权 1 。查看该关键词在百度排名前 50 名内有多少个用首页来做优化的，用的首页个数越多，竞争就越大，难度就越大。方法二：查看该关键词做到百度首页的网站权重的大小，以及收录。方法三：查看关键词在百度当中的收录相关度。方法四：百度推广数量 SEO 金三角： title descr iption keywords T itle 标题标签告诉用户和搜索引擎一个特定网页的主题是什么把关键词放在 title 里面，尽量让目标关键词靠前一点（重点：百度给予 title 前 14

浅谈深度学习之一：神经网络基本概念与分类

阅读更多关于浅谈深度学习之一：神经网络基本概念与分类

一、深度学习概念 1.什么是深度学习深度学习(Deep Learning)是机器学习的一种形式，概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。它是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。 2.基本变换（层的概念）神经网络是由一层一层构建的，那么每层究竟在做什么？数学式子：，其中是输入向量，是输出向量，是偏移向量，是权重矩阵，是激活函数。每一层仅仅是把输入经过如此简单的操作得到。数学理解：通过如下5种对输入空间（输入向量的集合）的操作，完成输入空间 —> 输出空间的变换 (矩阵的行空间到列空间)。注：用“空间”二字的原因是被分类的并不是单个事物，而是一类事物。空间是指这类事物所有个体的集合。 1. 升维/降维 2. 放大/缩小 3. 旋转 4. 平移 5. “弯曲” 这5种操作中，1,2,3的操作由完成，4的操作是由完成，5的操作则是由来实现。每层神经网络的数学理解：用线性变换跟随着非线性变化，将输入空间投向另一个空间。线性可分视角：神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。增加节点数

CSS的三大特性

阅读更多关于 CSS的三大特性

CSS的三大特性层叠性相同的选择器给设置相同的样式，此时一个样式就会覆盖（层叠）另一个冲突样式。层叠性主要解决样式冲突问题层叠性原则样式冲突，遵循的原则是就近原则，哪个样式里结构近，就执行那个样式样式不冲突，不会层叠继承性 CSS中的继承性：子标签会继承父标签的某些样式，如文本颜色和字号。简单的理解就是：子承父业子元素可以继承父元素的样式（text-，font-，line-这些元素开头的可以继承，以及color属性） body{ font：12px/1.5 Microsoft YaHei; } 行高可以跟单位也可以不跟单位如果子元素没有设置行高，则会继承父元素的行高1.5 此时子元素的行高：当前子元素的文字大小*1.5 body行高1.5这样写法最大的优势就是里面子元素可以根据自己文字大小自动调整行高优先级当给同一个元素指定多个选择器，就会有优先级的产生选择器相同，则执行层叠性选择器不同，则根据选择器权重执行选择器选择器权重继承或者* 0，0，0，0 元素选择器 0，0，0，1 类选择器。伪类选择器 0，0，1，0 ID选择器 0，1，0，0 行内样式 1，0，0，0 ！important 重要的无穷大优先级注意点：权重是有4组数字组成，但是不会有进位类选择器永远大于元素选择器，id选择器永远大于类选择器，以此类推从左到右依次比较

Deformable ConvNets v2: More Deformable, Better Results

阅读更多关于 Deformable ConvNets v2: More Deformable, Better Results

之前介绍过dai老师的DCN v1 Deformable Convolutional Networks解读，现在出了V2效果更赞，实验分析也很充分。分析DCN Spatial Support Visualization Effective receptive fields 理论上现在很多深层网络最后feature上每个位置的视野域都是铺满全图的，但是实际视野域中每个点对响应的不同，有效视野域即为输入扰动后实际能对输出产生影响的区域。比如求conv2上某一位置的有效视野域，那就依次扰动图像观察该位置处的输出变化，看看哪些像素点能对输出产生影响。一般来说输出点对应回去的中心点对输出影响最大。 Effective sampling/bin locations DCNv1中只对采样位置进行了可视化，但是每个采样位置的权重也是不一样的，现在对采样点或者采样的bin的位置和权重都进行了可视化 Error-bounded saliency regions 已经有一些工作做mask掉图片一些区域使最后输出没有变化，在这个基础上我们可以可视化出最小的能给出和原始一样的输出，也即是最小的最有效识别部分 spatial support of nodes in the last layer of the conv5 stage 图中第一行是Effective sampling/bin

css的一些基础方法

阅读更多关于 css的一些基础方法

　　1.css样式表分别有：　　内联样式表 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>Document</title> <style> //这个是内联样式表<style></style>这里面可以书写css样式 </style> </head> <body> <div style="这个也是内联样式表"></div> </body> </html> 　　外部样式表 <link rel=“stylesheet” type=“text/css” href=“路径” />外部样式表是从新创建一个专门的css文件在通过路径去链接　　2.css选择符　　选择符{属性:属性值;属性:属性值;} 　　例：　　div{width:200px;height:100px;background:red; } 　　每个CSS样式由两部分组成，即选择符和声明，声明又分为属性和属性值　　属性必须放在花括号中，属性与属性值用冒号连接。　　每条声明用分号结束。

半监督学习（四）——基于图的半监督学习

阅读更多关于半监督学习（四）——基于图的半监督学习

基于图的半监督学习以一个无标签数据的例子作为垫脚石 Alice 正在翻阅一本《 Sky and Earth 》的杂志，里面是关于天文学和旅行的文章。 Alice 不会英文，她只能通过文章中的图片来猜测文章的类别。比如第一个故事是“ Bridge Asteroid ”有一张多坑的小行星图片，那么它很明显是天文学类别的。第二个故事是“ Yellowstone Camping ”有张灰熊的图片，那么将它分类到旅行类别。但是其它文章没有图片， Alice 不能给它们分类。 Alice 是一个聪明的人，她注意到其他文章的标题 “Asteroid and Comet,” “Comet Light Curve,” “Camping in Denali,” and “Denali Airport.”她猜测如果两个文章的标题中有相同的单词，它们可能是一个类的，然后他就画出这样一幅图：这其实就是基于图的半监督学习的一个例子。图的概念我们首先来看看如何从训练数据中构建出图，给定半监督数据集，每个数据样本（有标签 & 无标签）是图上的一个顶点，显然，图会非常大，因为无标签数据很多，一旦图构建完成，学习的过程就包括给图中的每一个定点设置标签 y 值。在图中可以通过边将有标签和无标签数据点相连，边通常是无向的，表示的是两个节点（样本）之间的相似性。将边权重记作 wij ， wij 越大， xi 和

Courase Neural Networks for Machine Learning Lecture2 Note

阅读更多关于 Courase Neural Networks for Machine Learning Lecture2 Note

Types of neural network architectures feed-forward neural network 最常见的一种结构是前馈神经网络. 在该结构中,信息从输入层流入,沿着一个方向通过隐含层直到输出层. Recurrent neural network RNN的连接图中包含了有向环路.这意味着如果从一个神经元开始,沿着箭头移动,有时候可能又回到了开始的神经元.RNN参数的动态变化非常复杂,很难训练.RNN是对序列数据非常自然的建模方式 . RNN在每个时间步都使用相同的权重. 隐层单元决定了它的下一个状态在每一步都是一样的,它们在每个时间戳获取输入，同时产生输出，而且使用相同的权重矩阵。 RNN具有在隐藏单元中长时间记忆信息的能力。在对称连接网络中, 单元间的连接在两个方向权重相同. 不能建模环路. Perceptrons: The first generation of neural networks 在统计模式识别中，使用统计的方式进行模式识别。我们获取原始数据，然后将其转为一组特征向量。比如在手写数字识别的案例中，我们不断尝试不同的特征，最后选出一个能够很好反映原始输入的特征。在这个过程中，其实就是学习如何去给每一个特征赋予不同的权重。不同的权重反映了特征给你多少证据认为当前的输入是你想识别的输入。当我们把所有的权重加起来

深度学习最佳实践系列――权重w初始化

阅读更多关于深度学习最佳实践系列――权重w初始化

摘要：本文是深度学习最佳实践系列博客之权重初始化，主要介绍权重初始化的相关问题及方法，文中提及的权重初始化方法均可以应用于普通的神经网络、卷积神经网络和递归神经网络之中。推荐这门课程。基础和符号 1.初始化权重和偏置。 2.前向传播（forward propagation）：使用输入X，权重W和偏置b，对于每一层计算Z和A。在最后一层中，计算f(A ^（L-1))，它可能会是S形函数softmax或线性函数的A ^(L-1)，并得到预测值y_hat。 3.计算损失函数（loss function）：该函数是理想标签y和预测标签y_hat二者的函数，它表明预测值离实际目标值有多大差距，训练神经网络模型的目的就是要尽量减少损失函数的值。 4.反向传播（back propagation）：在这一过程中，需要计算损失函数f(y，y_hat)相对于A、W和b的梯度，分别称为dA、dW和db。使用这些梯度值，将参数的值从最后一层反向更新到第一层。 5.对n次迭代重复步骤2-4 ，直到我们觉得已经最小化了损失函数，且没有过拟合训练数据时则表明训练结束。前向传播反向传播权重W初始化 1.将所有权重初始化为0 2.随机初始化权重 a)梯度消失 ――对于深度网络，任何激活函数abs(dW)值将随着反向传播过程中每一层向后移动而变得越来越小。在这种情况下，较早的层次变化是最慢的。

订阅权重