layer | 易学教程

一文弄懂神经网络中的反向传播法——BackPropagation

阅读更多关于一文弄懂神经网络中的反向传播法——BackPropagation

　　最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。　　说到神经网络，大家看到这个图应该不陌生：　　这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了

信息抽取——实体关系联合抽取

阅读更多关于信息抽取——实体关系联合抽取

目录简介实体关系联合抽取 Model 1: End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures Model 2: Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme Model 3: Joint entity recognition and relation extraction as a multi-head selection problem Model 4: 基于DGCNN和概率图的轻量级信息抽取模型 Model 5: Entity-Relation Extraction as Multi-turn Question Answering Model 6: A Novel Hierarchical Binary Tagging Framework for Joint Extraction of Entities and Relations 小结简介通常，早期的信息抽取将实体抽取和关系抽取看作串联的任务，这样的串联模型在建模上相对更简单，但这样将实体识别和关系抽取当作两个独立的任务明显会存在一系列的问题：两个任务的解决过程中没有考虑到两个子任务之间的相关性

BERT的前世今生

阅读更多关于 BERT的前世今生

Transformer Transformer来自论文: All Attention Is You Need 别人的总结资源：谷歌官方AI博客: Transformer: A Novel Neural Network Architecture for Language Understanding Attention机制详解（二）——Self-Attention与Transformer 谷歌软件工程师放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较中科院软件所 · 自然语言处理 /搜索 10年工作经验的博士（阿里，微博）； Calvo的博客： Dissecting BERT Part 1: The Encoder ，尽管说是解析Bert，但是因为Bert的Encoder就是Transformer，所以其实它是在解析Transformer，里面举的例子很好；再然后可以进阶一下，参考哈佛大学NLP研究组写的 “The Annotated Transformer. ” ，代码原理双管齐下，讲得也很清楚。《Attention is All You Need》浅读（简介+代码）这个总结的角度也很棒。 A High-Level Look 可以将输入的语言序列转换成另外一种序列，比如下图的神经机器翻译： Transformer模型由编码器

BERT的前世今生

阅读更多关于 BERT的前世今生

layer弹框插件常用方法

阅读更多关于 layer弹框插件常用方法

layer.msg(content, options, end) - 提示框 layer.msg('提示内容，唯一不可省略的项', { icon: 1,//表情类型 time: 2000 //2秒关闭（默认是3秒） }, function(){ //do something，关闭后想做些什么 }); 官方介绍是目前露脸率最高的提示框。因为它简单，默认会3秒后自动消失，坚持零用户操作，而且参数也是自动补齐的。 layer.alert(content, options, yes) - 普通信息框 layer.alert('有了回调', {icon: 1}, function(index){ //do something layer.close(index); }); 它的弹出似乎有些高调，一般用于对用户造成比较强烈的关注，类似系统alert，但比alert更灵便。它的参数是自动向左补齐的。 layer.confirm(content, options, yes, cancel) - 询问框 layer.confirm('确认删除该条消息？', { btn: ['确认', '取消'] //可以无限个按钮 ,yes: function(index, layero){ window.location.href = href; layer.close(index); //如果设定了yes回调

SpaceVim插件

阅读更多关于 SpaceVim插件

# All SpaceVim option below [option] section [options] # set spacevim theme. by default colorscheme layer is not loaded, # if you want to use more colorscheme, please load the colorscheme # layer colorscheme = "gruvbox" colorscheme_bg = "dark" # Disable guicolors in basic mode, many terminal do not support 24bit # true colors enable_guicolors = true # Disable statusline separator, if you want to use other value, please # install nerd fonts statusline_separator = "arrow" statusline_inactive_separator = "arrow" buffer_index_type = 4 enable_tabline_filetype_icon = true enable_statusline_mode =

4种弹框

阅读更多关于 4种弹框

1、最基本的三种弹窗 alert，confirm，prompt <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>js三种弹窗</title> </head> <body> alert() confirm(option) prompt(option1,[option2]) </body> <script> function doson(num){ if(num == 1){ alert("这是一Alert"); }else if( num == 2){ //返回一个布尔值，点击确定返回true,点击取消返回false var isbeauty = confirm("准备好，游山玩水了吗？"); if(isbeauty){ alert("OK， Let's Go now !"); }else{ alert("不再考虑考虑了"); } }else{ //option1：数据类型是字符串；是弹框里的提示文字。 //option2：数据类型是字符串；是弹框里输入框的value预留值,第二个参数为空时，弹框输入框中的值为空。 /

RAC <三> 循环引用的解决

阅读更多关于 RAC 循环引用的解决

比起上一篇，更简单的写法： //更简洁的写法信号三部曲创建发送订阅 [[RACSignal createSignal:^RACDisposable * _Nullable(id<RACSubscriber> _Nonnull subscriber) { NSLog(@"Here I am!"); [subscriber sendNext:@"This is RAC"]; return nil; }] subscribeNext:^(id _Nullable x) { NSLog(@"x的内容是:%@",x); }]; 苹果有自己的事件处理和一些监听机制为什么不用，非要用RAC？利用RAC处理事件方便，可以把要处理的事情，和监听的事情的代码放在一起，这样非常方便我们管理，就不需要跳到对应的方法里。非常符合我们开发中的：高聚合，低耦合的思想。比较有意思和有用的例子： [[self.testTextField rac_textSignal] subscribeNext:^(NSString * _Nullable x) { NSLog(@"x信号内容:%@",x); }]; 输入框输入什么，就打印什么，时时监听，这样写直观简单。比写代理或者单独加一个方法监听要好点。 [[self.btn rac_signalForControlEvents:

STM32之SD卡【写的太好了转载】

阅读更多关于 STM32之SD卡【写的太好了转载】

https://www.cnblogs.com/amanlikethis/p/3757876.html#lab11 目录一、SD卡概述　　 1、定义　　 2、容量等级　　 3、SD卡框图　　 4、SD卡与TF卡的区别二、 SD卡内部结构　　 1、 SD卡内部结构简图　　 2、存储阵列结构图　　 3、Buffer 　　 4、“存储阵列Block”--最小的存储单元　　 5、SD卡的特殊功能寄存器三、SDIO接口四、SD卡协议的核心--数据读、写、擦除　　 1、SD卡写数据块　　 2、SD卡读数据块　　 3、擦除SD卡五、SD卡物理层协议　　 1、接口　　 2、命令格式　　 3、响应格式　　 4、SD卡的工作状态　　 5、SD卡的两种状态信息六、STM32与SD卡相配的外设--SDIO适配器　　 1、SDIO adapter 结构图　　 2、命令状态机（CPSM) 　　 3、数据通道状态机（DPSM) 　　 4、SDIO的FIFO 　　 5、SDIO的特殊功能寄存器七、SD卡编程　　 1、SD卡编程的内容　　 2、SD卡初始化　　 3、读SD卡的一个块　　 4、写SD卡的一个块八、SD卡疑惑　　 1、SD卡擦除后，其中的内容是0，还是1 ？　　 2、在SDIO_DCTRL中设置传输Block的要求　 3

YOLO-v3合并卷积层与BN层

阅读更多关于 YOLO-v3合并卷积层与BN层

转自： https://blog.csdn.net/lxk2017/article/details/88921302 参考： https://blog.csdn.net/l7H9JA4/article/details/104624333 YOLO-v3合并卷积层与BN层批量归一化-BN层(Batch Normalization) BN计算公式：合并卷积层与BN层：部分代码实现实验结果具体代码实现批量归一化-BN层(Batch Normalization) 随机梯度下降法（SGD）对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么使用BN层之后，你可以不需要那么刻意的慢慢调整参数。（详见论文《Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift》）。在神经网络训练网络模型时，BN层能够加速网络收敛，并且能够控制过拟合现象的发生，一般放在卷积层之后，激活层之前。BN层将数据归一化后，能够有效解决梯度消失与梯度爆炸问题。虽然BN层在训练时起到了积极作用，然而

订阅 layer