mean

作者：桂。 时间：2017-03-06 20:57:22 链接： http://www.cnblogs.com/xingshansi/p/6511916.html 前言 本文为 Hilbert变换一篇 的内容补充，主要内容为： 　　1）EMD原理介绍 　　2）代码分析 　　3）一种权衡的小trick 　　4）问题补充 内容主要为自己的学习总结，并多有借鉴他人，最后一并给出链接。 一、EMD原理介绍 　　A-EMD的意义 很多人都知道EMD(Empirical Mode Decomposition)可以将信号分解不同频率特性，并且结合Hilbert求解包络以及瞬时频率。 EMD、Hilbert、瞬时频率三者有无内在联系？答案是：有。 按照 Hilbert变换一篇 的介绍， $f(t) = \frac{{d\Phi (t)}}{{d(t)}}$ 然而，这样求解瞬时频率在某些情况下有问题，可能出现$f(t)$为负的情况：我1秒手指动5下，频率是5Hz；反过来，频率为8Hz时，手指1秒动8下，可如果频率为-5Hz呢？负频率没有意义。 考虑信号 $x(t) = {x_1}(t) + {x_2}(t) = {A_1}{e^{j{\omega _1}t}} + {A_2}{e^{j{\omega _2}t}} = A(t){e^{j\varphi (t)}}$ 为了简单起见，假设$A_1$和$A

误差计算 均方根误差（RMSE）计算对应欧几里得范数的平方和的根，也称作 l2 范数。 $$RMSE(X, h) = \sqrt{\frac{1}{m}\sum_{i=1} ^m(h(x)^{(i)} - y^{(i)})^2} $$ 平均绝对误差（MAE）计算对应 l1 范数的绝对值和，也成为曼哈顿范数，因为其测量了城市中的两点，沿着矩形的边行走的距离。 $$MAE(X, h) = \frac{1}{m}\sum_{i=1}^m|h(x^{(i)}) - y^{(i)}|$$ lk 范数定义如下，其中 l0 显示向量的基数（非零元素个数），l∞ 向量中最大的绝对值。 $$||V||_j = (|v_0|^k + |v_1|^k + \cdots + |v_n|^k)^{\frac{1}{k}}$$ 范数的指数越高，就越关注大的值而忽略小的值，这就解释了为什么 RMSE 比 MAE 对异常值更敏感。当异常值是指数分布（类似正态曲线），RMSE 就会表现很好。 创建测试集 datapath = "C://Users/LENOVO/Desktop/book_need_reading/sklearn&tensorflow/data/housing.csv" housing = pd.read_csv(datapath) 使用 python 的 np.random.permutation

Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。 数据结构： Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等都能保存在Series中。 Time- Series：以时间为索引的Series。 DataFrame：二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。 Panel ：三维的数组，可以理解为DataFrame的容器。 Panel4D：是像Panel一样的4维数据容器。 PanelND：拥有factory集合，可以创建像Panel4D一样N维命名容器的模块。 1.数据读取

！！！重点！！！：data.frame 绘图 矩阵第一章#R语言是区分大小写的解释型语言 #rm()函数用于删除数据区中的数据第二章#R语言下标从1开始 #向量 vector <- c(20173561,1709,20173562,1707) #矩阵 matrix <- matrix(vector,nrow = 2,ncol = 2,byrow = TRUE) #数组,在创建数组时指定的维度名称需要以列表的形式传入参数 data <- 1:24 dim1 <- c(“A1”, “A2”) dim2 <- c(“B1”, “B2”, “B3”) dim3 <- c(“C1”, “C2”, “C3”, “C4”) array <- array(data,c(2,3,4),list(dim1, dim2, dim3)) #数据框 patientID <- c(1, 2, 3, 4)#数值型向量 age <- c(25, 34, 28, 52)#数值型向量 diabetes <- c(“Type1”, “Type2”, “Type1”, “Type1”)#data.frame会自动将字符型向量转换为factor因子，其水平数等于factor的所有可能的取值数 status <- c(“Poor”, “Improved”, “Excellent”, “Poor”) frame <- data

# -*- coding: utf-8 -*- """ Created on Sat Jan 19 16:59:35 2019 @author: Administrator """ import tensorflow as tf from numpy.random import RandomState batch_size=8 w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1)) w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1)) x=tf.placeholder(tf.float32,shape=(None,2),name='x-input') y_=tf.placeholder(tf.float32,shape=(None,1),name='y-input') a=tf.matmul(x,w1) y=tf.matmul(a,w2) y=tf.sigmoid(y) cross_entropy=-tf.reduce_mean( y_*tf.log(tf.clip_by_value(y,1e-10,1.0)) +(1-y_)*tf.log(tf.clip_by_value(1-y,1e-10,1.0))) train_step=tf.train

Numpy的常用函数 1.读取矩阵文件 xxx,xxx,xxx,xxx xxx,xxx,xxx,xxx xxx,xxx,xxx,xxx 由若干行若干列的数据项组成，每行数据的项数必须相等，每列数据项的类型必须相同，而且数据项之间有明确的分隔符。 np.loadtxt( 文件路径, delimiter=分隔符字符串, usecols=选择列集, unpack=是否按列展开(缺省False), dtype=目标类型(缺省float), converters=转换器字典)-> 一个二维(unpack=False)或多个一维数组(unpack=True) # -*- coding: utf-8 -*- from __future__ import unicode_literals import datetime as dt import numpy as np import matplotlib.pyplot as mp import matplotlib.dates as md # 将日-月-年格式的日期变为年-月-日格式的转换器函数 def dmy2ymd(dmy): # 将UTF-8编码的字节串转换为UCS-4编码字符串 dmy = str(dmy, encoding='utf-8') ''' d, m, y = dmy.split('-') ymd = y + "-" + m +

任务3 特征工程&特征选择(3天) 特征工程 #核心代码举例 # 统计特征 #计算均值 gp = train . groupby ( by ) [ fea ] . mean ( ) #计算中位数 gp = train . groupby ( by ) [ fea ] . median ( ) #计算方差 gp = train . groupby ( by ) [ fea ] . std ( ) #计算最大值 gp = train . groupby ( by ) [ fea ] . max ( ) #计算最小值 gp = train . groupby ( by ) [ fea ] . min ( ) #计算出现次数 gp = train . groupby ( by ) [ fea ] . size ( ) # groupby生成统计特征：mean,std # 按照communityName分组计算面积的均值和方差 temp = data . groupby ( 'communityName' ) [ 'area' ] . agg ( { 'com_area_mean' : 'mean' , 'com_area_std' : 'std' } ) # 特征拆分 # 将houseType转为'Room'，'Hall'，'Bath' def Room ( x ) : Room =

深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。为了训练好模型，我们需要谨慎初始化网络权重，调整学习率等。 本篇博客总结几种归一化办法，并给出相应计算公式和代码。 归一化层，目前主要有这几个方法， Batch Normalization （2015年）、 Layer Normalization （2016年）、 Instance Normalization （2017年）、 Group Normalization （2018年）、 Switchable Normalization （2018年）； 将输入的图像shape记为[ N , C hannel, H eight, W idth]，这几个方法主要的区别就是在， batch Norm ：在batch上，对NHW做归一化，对小batchsize效果不好； layer Norm ：在通道方向上，对CHW归一化，主要对RNN作用明显； instance Norm ：在图像像素上，对HW做归一化，用在风格化迁移； Group Norm ：将channel分组，然后再做归一化； Switchable Norm ：将BN、LN、IN结合，赋予权重