归一化

Batch Normalization：对 一个mini batch的样本 ，经过 一个nueron（或filter） 后生成的feature map中的所有point进行归一化。（纵向归一化） Layer Normalization：对 单个样本 ，经过 一个卷积层的所有neuron（或filter） 后生成的feature map中的所有point进行归一化。（横向归一化） 来源： https://www.cnblogs.com/hizhaolei/p/11329083.html

先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样东西，可以一下子看出它的一些基本特征。可是计算机呢？它看到的只是一堆数字而已，因此要让机器从事物的特征中找到规律，其实是一个如何在数字中找规律的问题。 例：假如有一串数字，已知前六个是1、3、5、7，9，11，请问第七个是几？ 你一眼能看出来，是13。对，这串数字之间有明显的数学规律，都是奇数，而且是按顺序排列的。 那么这个呢？前六个是0.14、0.57、1.29、2.29、3.57、5.14，请问第七个是几？ 这个就不那么容易看出来了吧！我们把这几个数字在坐标轴上标识一下，可以看到如下图形： 用曲线连接这几个点，延着曲线的走势，可以推算出第七个数字——7。 由此可见，回归问题其实是个曲线拟合(Curve Fitting)问题。那么究竟该如何拟合？机器不可能像你一样，凭感觉随手画一下就拟合了，它必须要通过某种算法才行。 假设有一堆按一定规律分布的样本点，下面我以拟合直线为例，说说这种算法的原理。 其实很简单，先随意画一条直线，然后不断旋转它。每转一下，就分别计算一下每个样本点和直线上对应点的距离

如果数据不存在差异特别大的值就使用归一化，取对数处理 如果数据方差很大，就进行标准化处理，Z-score处理 来源： https://blog.csdn.net/qq_39292916/article/details/98943839

今天下午师弟问了一个关于图像归一化的问题，因此小编写了关于图像归一化的代码，比如一个文件夹下有多幅图像，每幅图像的大小不一致，如果想把这些图像归一化为相同大小的图像，就涉及到归一化的问题，现分享代码如下： #include <opencv2/opencv.hpp> #include "highgui.h" #include <iostream> using namespace std; using namespace cv; int main() { IplImage *src; src = cvLoadImage("100000.jpg"); cvShowImage("100000",src); //cvReleaseImage(&src); IplImage* gray_image; gray_image = cvCreateImage(cvGetSize(src),8,1); cvCvtColor(src,gray_image,CV_BGR2GRAY); //cvShowImage("GrayImage",gray_image); IplImage* norm_image; CvSize norm_cvsize; norm_cvsize.width = 480; //目标图像的宽 norm_cvsize.height = 640; //目标图像的高 cout<<"开始归一化"

一.写在前面 本篇对DCGAN的tensorflow实现版本进行代码分析。Github: https://github.com/carpedm20/DCGAN-tensorflow 该代码中实现了针对有标签数据集和无标签数据集两类网络，两类网络的结构不一样。下面分别进行介绍。 二.针对有标签数据集的网络 为了便于解释，用具体例子替换变量。 有标签数据集以mnist数据集为例。batch_size为64，mnist图片大小为28×28，图片通道数c_dim为1，类别数y_dim为10；随机输入的维数z_dim为100。 Generator部分 ： 1.获得输入z 服从均匀分布的输入样本z(shape=[64,100])与具有one-hot形式的标签y(shape=[64,10])级联，整体作为Generator的输入z(shape=[64,110])。 2.获得第一个非线性层的输出h0 通过线性变换将z变换为维数gfc_dim=1024的数据，对其进行归一化（batch normalization）之后进行非线性Relu变换，得到h0(shape=[64,1024])；将h0与y级联，整体作为下一层的输入h0(shape=[64,1034])。 3.获得第二个非线性层的输出h1 通过线性变换将h0变换为64×2×7×7=6272的数据，对其进行归一化之后进行非线性Relu变换