dnn

1. DNN神经网络的前向传播（FeedForward） 2. DNN神经网络的反向更新（BP） 3. DNN神经网络的正则化 1. 前言 和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。 2. DNN的L1和L2正则化 想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。 而DNN的L2正则化通常的做法是只针对与线性系数矩阵 \(W\) ,而不针对偏倚系数 \(b\) 。利用我们之前的机器学习的知识，我们很容易可以写出DNN的L2正则化的损失函数。 假如我们的每个样本的损失函数是均方差损失函数,则所有的m个样本的损失函数为： \[J(W,b) = \frac{1}{2m}\sum\limits_{i=1}^{m}||a^L-y||_2^2 \] 则加上了L2正则化后的损失函数是 \[J(W,b) = \frac{1}{2m}\sum\limits_{i=1}^{m}||a^L-y||_2^2 + \frac{\lambda}{2m}\sum\limits_{l=2}^L||w||_2^2 \] 其中,$\lambda \(1即我们的正则化超参数，实际使用时需要调参。而\) w \(为所有权重矩阵\) W$的所有列向量。 如果使用上式的损失函数

论文原文 论文下载 论文被引：1651 论文年份：2015 Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting ABSTRACT Both Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) have shown improvements over Deep Neural Networks (DNNs) across a wide variety of speech recognition tasks. CNNs, LSTMs and DNNs are complementary in their modeling capabilities, as CNNs are good at reducing frequency variations, LSTMs are good at temporal modeling, and DNNs are appropriate for mapping features to a more separable space. In this paper, we take advantage of the complementarity of

1。 一般的机器学习方法不会在train好的模型上检查training data的结果，因为DNN在training data上都没有办法获得很好的正确率， 所以要先回头看一下要对模型做什么修改，才能使得在training set上取得比较好的正确率。 2。 在training set获得好的结果，但在testing set上获得不好的结果，这个才是overfitting，并不是说在training set获得好的结果就是overfitting。 这个时候要回去做一些工作解决overfitting这个问题。解决overfitting的同时会使得结果在training set上的结果性能 变差 ，这个时候要回到注意1上。 上图中，56层的模型对比20层的模型，无论是在training set还是testing set上表现 都要差 ，这个事情并不是Overfitting的原因，而是没有训练好（没训练好的原因：局部最小值，鞍点，平原）。 但也不是 underfitting，模型的参数不够多，没有能力解决某一个问题。 有意思的观点：56层的模型肯定要比20层的好，原因很简单，如果我56层前面20层和下面的20层一样，后面36层啥事也不做，至少来说他的性能要和下面的一样，因此结论就是56层的模型是没有训练好　　 不同问题需要对应的方法来解决 Training data性能差 激活函数改进

近年来随着人工智能的发展，深度学习开始在工业界不同场景落地。深度学习跟以前的机器学习模型相比，其中很重要的特点就是在于能在模型侧自动构建特征，实现端到端学习，效果也有明显提升，但新的问题如模型效果和推理效率的冲突也开始凸显。 爱奇艺提出了新的在线知识蒸馏方法来平衡模型效果和推理效率，在推荐场景上获得了明显的效果，本文主要介绍爱奇艺在探索升级排序模型的过程中提出的双DNN排序模型。文章开始之前，首先为大家科普与本文主题相关的关键词的含义及相关技术知识。 ▌关键词 ▌写在前面 近些年来，学术界和工业界陆续开展了多项让排序模型变的wider and deeper的相关工作，其中，wider（更宽）意味着一个模型包含更多不同的子模型，如xDeepFM[1]包括了LR, DNN和CIN三种组件，分别建模一阶显示特征交叉（LR），高阶隐式特征交叉（DNN）和高阶显示特征交叉（CIN）；deeper（更深）意味着通过增加模型复杂性来提升模型性能，一些在NLP和CV领域使用的复杂组件开始被引入排序模型，如xDeepFM的CIN其实是利用卷积神经网络来建模特征交叉, BST[2]利用Transformer建模用户行为序列的表征。然而，更深更宽的模型在提升模型效果的同时，往往伴随着模型推理效率的下降。 爱奇艺提出的在线知识蒸馏方法来平衡模型效果和推理效率

如何有效的利用QQ群： 经常听到有人说问一个问题QQ群里无人回答，听到有人抱怨QQ群里根本就没有人愿意帮忙，到底是哪里有问题？ 群需要一个宗旨。 了解群的宗旨会使你正确的使用这个群，并得到更多的回报！ 先问付出，再问得到。 知道解决问题的思路比知道答案更重要。 高手的技能不是通过不断的问别人“这个如何做?"得来的，高手只是实践地更多，查阅地更多，思考地更多。发问只是拓展自己的思路，不是简单的寻找答案。 大家都要养家糊口，别人是没有义务手把手教你的，过多的讨论细节只会消耗群里人们的耐心，最终导致团队的不和谐。别人只是帮你看到方向。 解决DNN问题请加入QQ群：56782274 您好！我是群的管理员，加入群请先了解群的宗旨： 如果你遇到DNN使用和学习上的问题，请先查阅DNN的文档（包括官方和非官方的） 如果文档里没有，请使用Google搜索 如果Google没有找到答案，请试试使用英文搜索 如果真的无法解决问题，再决定是否请求他人帮助。 DNN相关资源： http://www.cnblogs.com/m2land/archive/2008/02/20/1074958.html 来源： https://www.cnblogs.com/DotNetNuke/archive/2008/05/13/1195293.html

在DNN中已经集成了jQuery，但是由于对jQuery不熟悉，对.net用得也有些生疏，所以在使用jQuery插件时做了些无用功，现记下过程，以备忘记。 一： 我将validate插件 “/Resources/Shared/scripts/jquery/”目录中，所以在模块的头部应该做如下引用。 < script src ="<%=ResolveUrl(" ~/Resources/Shared/scripts/jquery/jquery.validate.min.js")% > " type= " text / javascript">< / script > 二： 模块设计时用定义<asp:TextBox id=“txtName" .... />，结果在输出时id变成了dnn_ctr381_EditDeviceDeploy_txtName，之前写jQuery时使用的$("#txtName")当然不对了，因为ASP.NET 和DNN 都会重写控件的ID，所以写客户端的JS是不能直接使用ID，而是要用一段代码获取 ClientID. 可以把$("#txtName") 替换为$("<%= txtName.ClientID %>") 。 三： validate插件使用控件中定义的name进行验证的，所以控件应该写成 < asp:TextBox id ="txtDeviceName"

会议：2016 IEEE口语技术研讨会（SLT） 论文： Max-pooling loss training of long short-term memory networks for small-footprint keyword spotting 作者： Ming Ming，Anirudh Raju，George Tucker，Sankaran Panchapagesan，Gengshen Fu，Arindam Mandal，Spyros Matsoukas，Nikko Strom，Shiv Vitaladevuni Abstract 我们提出了一种基于最大池的损失函数，用于训练长短期内存（LSTM）网络以实现占用空间少的关键字发现（KWS），低CPU，内存和延迟要求。可以通过使用交叉熵损失训练网络进行初始化来进一步指导最大池损失训练。采用基于后验平滑的评估方法来衡量关键字发现效果。我们的实验结果表明，使用交叉熵损失或最大池损失训练的LSTM模型优于交叉熵损失训练的基线前馈深度神经网络（DNN）。此外，与经过交叉熵损失训练的LSTM相比，具有随机初始化网络的最大池损失训练的LSTM性能更好。最后，通过交叉熵预训练网络初始化的经过最大池损耗训练的LSTM显示了最佳性能， Introduction 数十年来，关键字搜寻一直是活跃的研究领域

会议：ICASSP 2014 论文： Small-footprint keyword spotting using deep neural networks 作者：Guoguo Chen ; Carolina Parada ; Georg Heigold Abstract 我们的应用程序需要具有内存占用量小，计算成本低和精度高的关键字查找系统。为了满足这些要求，我们提出了一种基于深度神经网络的简单方法。训练深度神经网络以直接预测关键词或关键词的子词单元，然后采用后处理方法产生最终的置信度得分。相对于基于竞争性的基于隐马尔可夫模型的系统，关键字识别结果实现了45％的相对改进，而在有杂音的情况下，性能则显示了39％的相对改进。 INTRODUCTION 由于智能手机和平板电脑的快速发展，使用语音与技术进行交互变得司空见惯。例如，Google提供了在Android设备上通过语音搜索[1]的功能，而Apple的iOS设备配备了名为Siri的会话助手。这些产品允许用户点击设备，然后说出查询或命令。 我们有兴趣通过开发一个系统来连续不断地收听特定的关键字来启动语音输入，从而使用户拥有完全的免提体验。这在开车等情况下尤其有用。所提出的系统必须高度准确，低延迟，占用空间小，并且必须在计算受限的环境（例如现代移动设备）中运行。在设备上运行系统避免了连接到服务器进行识别的延迟和功耗问题。 关键字搜寻

此文源于在opencv学堂上看到的一篇文章，自己尝试了下， 首先安装opencv4，在OpenCV的\sources\samples\dnn\face_detector目录下，有一个download_weights.py脚本文件，首先运行一下，下载模型文件。下载的模型文件分别为： Caffe模型 res10_300x300_ssd_iter_140000_fp16.caffemodel deploy.prototxt tensorflow模型 opencv_face_detector_uint8.pb opencv_face_detector.pbtxt 下面为自己在visual sutio2019中的测试代码， #include <opencv2/dnn.hpp> #include <opencv2/opencv.hpp> using namespace cv; using namespace cv::dnn; #include <iostream> #include <cstdlib> using namespace std; const size_t inWidth = 300; const size_t inHeight = 300; const double inScaleFactor = 1.0; const Scalar meanVal(104.0, 177.0,

原理 自行百度，本人不擅长 YOLO 来自darknet对象检测框架 基于COCO数据集，能检测80个类别 YOLO V3版本 https://pireddie.com/darknet/yolo 每种网络模型对应的输入数据 可以查看每种模型的模型二进制文件名称，网络描述文件名称，中至化处理参数，数据样本尺寸，描述label文件名称，rgb通道顺序以及典型应用场景等信息 链接地址:https://github.com/opencv/opencv/blob/master/samples/dnn/models.yml ################################################################################ # Object detection models. ################################################################################ 。。。 # YOLO object detection family from Darknet (https://pjreddie.com/darknet/yolo/) # Might be used for all YOLOv2, TinyYolov2 and YOLOv3 yolo : model