mean

% HCKF高阶容积卡尔曼滤波在自动驾驶车辆定位中的应用 % 参考文献 : % The High - Degree Cubature Kalman Filter ( Bin Jia , Ming Xin , and Yang Cheng ) % Unscented Kalman Filter Tutorial ( Gabriel A . Terejanu ) % 基于正交变换的五阶容积卡尔曼滤波导航算法 ( 何康辉，董朝阳 ) % ＥＫＦ、ＵＫＦ和ＣＫＦ的滤波性能对比研究 ( 常宇健，赵辰 ) % 组合导航原理与应用 ( 西北工业大学出版社 ) % 卡尔曼滤波与Matlab仿真 ( 北京航空航天大学出版社 ) % 本例子使用线性状态模型，因此加速度变成了干扰项 % Lidar传感器测量模型为线性模型，Radar传感器测模型为非线性模型 % 在Radar传感器中使用滤波算然为 HCKF , 在Lidar传感器中使用滤波算然为 KF clear ; clc ; tic ; % 计时 dt = 0.1 ; % 步长 % 分配空间 Radar_measurement = [ ] ; Radar_measurement_p = [ ] ; Lidar_measurement = [ ] ; HCKF_estimation = [ ] ; hckf = [ ] ; % 结构体 %

from tensorflow.python import pywrap_tensorflow import os checkpoint_path=os.path.join('output/res101/voc_2007_trainval+voc_2012_trainval/default/res101_faster_rcnn_iter_110000.ckpt') reader=pywrap_tensorflow.NewCheckpointReader(checkpoint_path) var_to_shape_map=reader.get_variable_to_shape_map() for key in var_to_shape_map: print ('tensor_name: ',key) ================================================================== tensor_name: resnet_v1_101/rpn_conv/3x3/weights/Momentum tensor_name: resnet_v1_101/rpn_cls_score/weights/Momentum tensor_name: resnet_v1_101/rpn_bbox_pred/weights/Momentum

对msra的工作都比较关注，最近刚好看到了这篇对传统bn进行改进的论文。 论文地址： https://arxiv.org/abs/2002.05712 github地址： https://github.com/Howal/Cross-iterationBatchNorm openreview： https://openreview.net/forum?id=BylJUTEKvB 作者应该是投ICLR杯具了，不过个人觉得比较值得少花些时间读一读。 论文开门见山的指出 batchsize的大小直接影响了BN的效果，见图1中的绿色线，batchsize在小于16后的分类准确率急剧下降 。作者在本文提出了一种叫做cross-iteration BN的方法，通过泰勒多项式去估计几个连续batch的统计参数，可以很大程度缓解此问题，如图1中的蓝色线，在batchsize逐渐变小时，效果依然稳定，并且accuracy始终高于GN的效果。 （论文必备图，一图告诉你我有多nb） 1. Revisiting Batch Normalization 从实现的角度来说，BN对特征进行了一种白化操作，可以减少internal covariate shift，具体的可以查看原文。 这里作为对比可以回忆下几种比较常见的归一化方法 BatchNormalization，LayerNormization

当在python 中使用对dataframe变量df_test使用如下语句时： pd.rolling_mean(df_test['col_name'], ma) 系统报错： module 'pandas' has no attribute 'rolling_mean' ，报错pandas没有rolling_mean属性。问题在于rolling_mean是pandas旧版本的功能，可以使用如下语句替换： df_test['col_name'].rolling(ma).mean() 问题的根源在于：新版本pandas已经不支持rolling_mean()方法。另外可以使用pip install pandas安装新的pandas模块。 来源： CSDN 作者： lost0910 链接： https://blog.csdn.net/lost0910/article/details/104572994

批量归一化和残差网络 批量归一化 Batch Normalization 1. 对全连接层做批量归一化 2.对卷积层做批量归⼀化 3.预测时的批量归⼀化 从零实现 基于LeNet的应用 简洁实现 残差网络 ResNet 残差块（Residual Block） ResNet模型 DenseNet 稠密连接网络 稠密块（Dense Block） 过渡层（Transition layer） DenseNet模型 批量归一化 Batch Normalization BN是针对深层CNN的方法之一，有助于有效模型的训练。是对数据的标准化处理。 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近（更加容易训练出有效的模型）。但对于深层模型，仅做输入的标准化是不够的，网络太深，靠近输出层还是可能发生数据的剧烈变化。 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1. 对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 关于BN位置的问题： Batch-normalized 应该放在非线性激活层的前面还是后面？ 全连接： 输入 u \boldsymbol{u} u ，大小为 batch_size * 输入神经元个数

损失函数 nn.L2Loss 功能 计算inputs 与 target 之差的绝对值 l n = ∣ x n − y n ∣ l_{n}=\left|x_{n}-y_{n}\right| l n ​ = ∣ x n ​ − y n ​ ∣ nn.MSELoss 功能 计算inputs 与 target 之差的平方 l n = ( x n − y n ) 2 l_{n}=\left(x_{n}-y_{n}\right)^{2} l n ​ = ( x n ​ − y n ​ ) 2 主要参数 reduction 计算模式，可为none/sum/mean none -逐个元素计算 sum -所有元素求和，返回标量 mean -加权平均，返回标量 SmoothL1Loss 功能 平滑的L1Loss 主要参数 reduction 计算模式，可为none/sum/mean none -逐个元素计算 sum -所有元素求和，返回标量 mean -加权平均，返回标量 loss ⁡ ( x , y ) = 1 n ∑ i z i \operatorname{loss}(x, y)=\frac{1}{n} \sum_{i} z_{i} l o s s ( x , y ) = n 1 ​ i ∑ ​ z i ​ z i = { 0.5 ( x i − y i ) 2 , if ∣ x i − y i

目录 基本操作 子图与标注 风格 条形图 条形图细节 条形图外观 盒图绘制 小提琴图 绘图细节设置 3D图 pi图 子图布局 嵌套图 基本操作 import numpy as np import matplotlib.pyplot as plt plt.plot([1,2,3,4,5],[1,4,9,16,25],'-.',color='r') #横标，纵标，线条样式与颜色 plt.xlabel('xlabel',fontsize = 16) plt.ylabel('ylabel',fontsize = 16) 图像如下，以及属性值表 子图与标注 标注 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-10,10,) #linspace是均分计算指令，用于产生x1,x2之间的N点行线性的矢量。其中x1、x2、N分别为起始值、终止值、元素个数。若默认N，默认点数为100。 y = np.sin(x) plt.plot(x,y,linewidth=3,color='b',linestyle=':',marker='o',markerfacecolor='r',markersize=5,alpha=0.4,) #线宽度，颜色，样式，标记点样式，标记点颜色，标记点规格 line = plt.plot(x

1 批量归一化和残差网络 1.1 批量归一化（BatchNormalization） BN的作用 Internal Convariate shift（内部协变量偏移）是BN论文作者提出来的概念，表示数据的分布在网络传播过程中会发生偏移，我们举个例子来解释它，假设我们有一个玫瑰花的深度学习网络，这是一个二分类的网络，1表示识别为玫瑰，0则表示非玫瑰花。我们先看看训练数据集的一部分： 直观来说，玫瑰花的特征表现很明显，都是红色玫瑰花。 再看看训练数据集的另一部分： 很明显，这部分数据的玫瑰花各种颜色都有，其特征分布与上述数据集是不一样的。 通俗地讲，刚开始的数据都是同一个分布的，模型学习过程中，模型的参数已经适合于一种分布，突然又要适应另一种分布，这就会让模型的参数发生很大的调整，从而影响到收敛速度和精度，这就是Internal covariate shift。 而BN的作用就是将这些输入值或卷积网络的张量进行类似标准化的操作，将其放缩到合适的范围，从而加快训练速度；另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确定性。 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出

批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化 位置：全连接层中的仿射变换和激活函数之间。 全连接： x = W u + b o u t p u t = ϕ ( x ) \boldsymbol{x} = \boldsymbol{W\boldsymbol{u} + \boldsymbol{b}} \\ output =\phi(\boldsymbol{x}) x = W u + b o u t p u t = ϕ ( x ) 批量归一化： o u t p u t = ϕ ( BN ( x ) ) output=\phi(\text{BN}(\boldsymbol{x})) o u t p u t = ϕ ( BN ( x ) ) y ( i ) = BN ( x ( i ) ) \boldsymbol{y}^{(i)} = \text{BN}(\boldsymbol{x}^{(i)}) y ( i ) = BN ( x ( i ) ) μ B ← 1 m ∑ i = 1 m x ( i ) ,