tensorflow

1.6 Batch Norm 为什么奏效？ 样本变动（covariate shift）会使得模型的确定变得困难 在不同的mini-batch中，激活函数a可能会变化较大，batch norm可使其更加“归一” Batch Norm具有轻微的“正则化”效应，但这不是其目的，其目的在于加快训练速度 1.7 测试时如何使用Batch Norm？ 测试时，可使用指数加权平均法来计算均值和方差 1.8 Softmax 回归 Softmax可用于多分类，是二分类logistic回归的一般形式 Softmax层的计算 Softmax示例 1.9 训练一个 Softmax 分类器 理解Softmax回归 Softmax回归的损失函数 Softmax的梯度下降 1.10 深度学习框架 1.11 TensorFlow 问题引入 Tensorflow代码示例 来源： oschina 链接： https://my.oschina.net/u/4411837/blog/4944384

布道者 （Evangelist）源自希腊语，意思是带来好消息的人。对我们来说，"开源布道者"其实不光是一个工作头衔，更是一种生活方式，一个称职的开源布道者首先必须热爱开源，如果你不爱这个事业，无论你的个人能力多么出众，你都不可能成为一个好的布道者。光有学历和经验是不够的，我们期待的是热爱开源的志同道合伙伴。我们坚信开源是促进人类科技进步的最重要的力量之一，作为一个开源布道者，我们期待更多的朋友因为我们的努力而加入开源布道者的行列！ 在2021新的一年，我们很欢迎Linux Foundation APAC首批Open Source Evangelist正式上任！以下为 10位Open Source Evangelist 的介绍 ( 按姓氏排列顺序，排名不分先后)： 陈冉 Sam Chen 陈冉 Sam Chen 开源 改变了世界，并让世界变得更美好。 我叫陈冉。 是中国一家DevOps独角兽CEO兼创始人。 我在开源的推广、使用和盈利方面有超过8年的经验。 此外，作为一个传播者，我还积极参与到不同的开源社区。 寻找持续为开源做贡献的机会，并与之一起成长。 陈兴友 陈兴友 陈兴友是一位Linux内核开发者、云计算从业者，曾在多家公司担任技术预研、培训工作。 作为理学学士及工学硕士，从业经历涉及服装、运维、内核开发、网络安全、图像处理、嵌入式设备等方向，个人兴趣涉及电子线路、物联网、绿植

作者 | xulu1352 目前在一家互联网公司从事推荐算法工作 （ 知乎：xulu1352 ） 编辑 | lily 0.前序 Att ention 机制 近年来在NLP领域大放异彩，尤其Bert等模型的走红，使Attention机制获得的关注量大增，那Attention机制应用到推荐领域又是以怎样形式的存在？ 说到这就不得不提阿里的深度兴趣网络(Deep Interest Network, DIN)，这个模型算得上是个经典的推荐系统Attention机制模型了;本文会重点围绕着DIN中Attention机制实现而展开，关于原理部分的解读本文下面只说说概要了，更深层次的解读可以参看文章末附录的文献。 1.Attention机制的思想 Attention机制缘起于人类视觉注意力机制，比如人们在看东西的时候一般会快速扫描全局，根据需求将观察焦点锁定在特定的位置上，是模仿人类注意力而提出的一种解决问题的办法；抽象点说它是一种权重参数的分配机制，目标是协助模型捕捉重要信息。具体一点就是，给定一组<key,value>，以及一个目标（查询）向量query，Attention机制就是通过计算query与各个key的相似性，得到每个key的权重系数，再通过对value加权求和，得到最终attention数值。所以本质上Attention机制是对给定元素的value值进行加权求和

一：传统神经网络存在的问题 权值太多，计算量太大 权值太多，需要大量样本进行训练 二：卷积神经网络（CNN） CNN通过感受野和权值共享减少了神经网络需要训练的参数个数。 三：池化 四：卷积操作 五：CNN结构 六：基于卷积神经网络的手写数字识别 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 载入数据集 mnist=input_data.read_data_sets( ' MNIST_data ' ,one_hot= True) # 每个批次的大小 batch_size=100 # 计算一共有多少个批次 n_batch=mnist.train.num_examples// batch_size # 初始化权值 def weight_variable(shape): initial =tf.truncated_normal(shape,stddev=0.1) # 生成一个截断的正态分布 return tf.Variable(initial) # 初始化偏置 def bias_variable(shape): initial =tf.constant(0.1,shape= shape) return tf.Variable(initial) # 卷积层 def

卷积神经网络的层级结构 1 数据输入层 |input layer 该层要做的处理主要是对原始图像数据进行预处理，包括： 去均值、归一化、 PCA| 白化 。 去均值： 把输入数据各个维度都中心化为 0 ，其目的就是把样本的中心拉回到坐标系原点上。 归一化：幅度归一化到同样的范围。 PCA| 白化 ：用 PCA 降维；白化是对数据各个特征轴的幅度归一化。 去均值与归一化效果图：（把样本的中心拉回到坐标系原点上） 去相关与白化效果图：（对数据各个特征轴的幅度归一化） 2 卷积计算层 |Convolution layer 这一层就是卷积神经网络最重要的一个层次，也是 “卷积神经网络”的名字来源。 在这个个卷基层，有两个关键操作：局部关联 ，每个神经元看做一个滤波器（ filter ）和 窗口滑动（ receptive field ） ， filter 对局部数据计算。 先介绍卷积层遇到的几个名词： 深度 |depth 步长 |stride （窗口一次滑动的距离） 填充值 |zero-padding 填充值是什么呢？ 以下图为例子，比如有这么一个 5*5的图片（一个格子一个像素），我们滑动窗口取2*2，步长取2，那么我们发现还剩下1个像素没法滑完，那怎么办呢？ 那我们在原先的矩阵加了一层填充值，使得变成 6*6的矩阵，那么窗口就可以刚好把所有像素遍历完。这就是填充值的作用。 卷积的计算