layer

3 月，跳不动了？>>> 本文参考原文- http://bjbsair.com/2020-03-25/tech-info/6302/ 今天来看看网红Attention的效果，来自ACL的论文Hierarchical Attention Networks for Document Classification **论文概述 ** 近年来，在NLP领域，好像最流行的就是RNN、LSTM、GRU、Attention等及其变体的组合框架。这篇论文里作者就对文本的结构进行分析，使用了双向GRU的结构，并且对Attention进行调整：考虑了word层面的attention和sentence层面的attention，分别对单词在句子中和句子在文档中的重要性进行了建模。仔细一想确实是挺合理的，一篇文档就是由无数句子构成的，而一个句子又是由无数单词构成的，充分考虑了文档的内部结构。 上图就是论文中文本分类模型的整体框架，可以看出主要分为四个部分： word encoder （BiGRU layer） word attention （Attention layer） sentence encoder （BiGRU layer） sentence attention （Attention layer） 首先回顾一下GRU的原理： GRU是RNN的一个变种，使用门机制来记录当前序列的状态

3 月，跳不动了？>>> Abstract I’ve writen many paper reviews in Chinese before, so to get more fun, English will be used for latter paper reviews gradually. A few days ago, we have reviewed STN . We all know that becaus of Pooling layer, CNN has spatial invariance(such as translation invariance, rotation invariance). And as the larger the pooling kernel and conv kernel are, invariance of CNN will get more and more powerful. But at the same time, the larger the pooling kernel and conv kernel are, CNN wil lost more and more local information. As a result, downsampling ratio needs to be adjusted

3 月，跳不动了？>>> Spark MLlib Deep Learning Deep Belief Network ( 深度学习- 深度信念网络)2.2 http://blog.csdn.net/sunbow0 第二章Deep Belief Network ( 深度信念网络) 2 基础及源码解析 2.1 Deep Belief Network深度信念网络基础知识 1 ）综合基础知识参照： http://tieba.baidu.com/p/2895759455 http://wenku.baidu.com/link?url=E8eett6R-mpVL-5AtO1yRNZR4DdEhW7YkQhDKY2CoYCiCQQYqdmWgrHQed2rsJZ8H2rwobpTgyjuXhdakD5QRv0OBWCUB8B2UA2iSNTcGeO 2 ）原著资料参照： 《Learning Deep Architectures for AI 》 http://wenku.baidu.com/link?url=suD736_WyPyNRj_CEcdo11mKBNMBoq73-u9IxJkbksOtNXdsfMnxOCN2TUz-zVuW80iyb72dyah_GI6qAaPKg42J2sQWLmHeqv4CrU1aqTq 《A Practical Guide to Training

3 月，跳不动了？>>> 如果软件开发一直处于手工阶段，大家都从零开始开发，岂不是浪费？低代码开发的主要想法，就是将软件的技术门槛降下来，同时将大家重复的工作消除掉，提高开发效率。代码快速开发平台是未来软件开发的主流模式，美国有数据预测，到2021年75%的软件应用都将在低代码开发平台中完成，到2025免这个数据将会变成90%。 像国外的OutSystems、Mendix或者国内最新自主研发的XJR快速开发平台等等，都可以开发OA、ERP、CRM、HR、进销存等各种企业管理应用，并无缝集成打通其他软件系统，实现各系统间的互联互通。 为什么低代码快速开发平台将是未来软件开发的主流模式？ 随着信息化技术的发展，企业对信息化开发的需求正在逐渐改变，传统的定制开发已经无法满足企业需求。低代码开发平台，让开发者可以基于平台快速搭建企业信息化系统，这种新型的开发方式，数以倍计的提高着开发者的开发效率。具体体现在以下方面： 1、成本和效率优势 低代码开发平台和原生代码开发相比到底能够提高多少效率目前还没有精确的计量，但代码量上至少可以节省80%，传统开发模式需要一周完成的工作，采用低代码开发平台--通过XJR快速开发框架的拖拽拉，可视化操作通常一天就可以做到。 2、满足企业的多样化需求 企业软件需求的多样化是定制开发模式的起源。虽然标准软件产品能够满足企业应用需求中的共性部分，但是因为行业

3 月，跳不动了？>>> 2008 年 11 月 4 日，奥巴马在选举中胜出，出任美国第 44 任总统。这次竞选的成功离不开其个人人格魅力，但他的竞选宣传团队的作用也不可小觑。在总统竞选页面上，他的团队用 AB 实验 在 16 种方案中找到了最佳方案，将竞选页面「change」的转化率提升了 40.6%。 图 1，via www.niaogebiji.com/article-17605-1.html 图 2，via www.niaogebiji.com/article-17605-1.html 他们将图 1 中的图片或视频与图 2 中的不同文案按钮任意组合，形成 4*4 共 16 种不同方案组合，每个方案都获得一定比例的流量，观察一段时间后，从中选取转化率最高的方案应用。 回到现实生活中看看这两种场景：如果一款产品更新不经过 AB 实验就直接全流量上线，那么团队成员在上线后往往都在拼命找数据证明自己正确，即便证据牵强，只要向外发布声明「指标又提升了」，众人纷纷点赞。要知道 Google、Facebook、Microsoft 做 AB 实验的经验是 90%的新设计都不如线上版本 ；亦或很幸运地，你的团队成员都十分活跃有想法，各抒己见、难分高下。 在这些情况下，「用实力说话」的 AB 实验或许能帮你改造团队决策的尴尬场景。AB 实验辅助决策的场景十分广：视觉设计、页面布局、文案内容

3 月，跳不动了？>>> 如果软件开发一直处于手工阶段，大家都从零开始开发，岂不是浪费？低代码开发的主要想法，就是将软件的技术门槛降下来，同时将大家重复的工作消除掉，提高开发效率。低代码快速开发平台是未来软件开发的主流模式，美国有数据预测，到2021年75%的软件应用都将在低代码开发平台中完成，到2025免这个数据将会变成90%。 像国外的OutSystems、Mendix或者国内最新自主研发的XJR快速开发平台等等，都可以开发OA、ERP、CRM、HR、进销存等各种企业管理应用，并无缝集成打通其他软件系统，实现各系统间的互联互通。 为什么低代码快速开发平台将是未来软件开发的主流模式？ 随着信息化技术的发展，企业对信息化开发的需求正在逐渐改变，传统的定制开发已经无法满足企业需求。低代码开发平台，让开发者可以基于平台快速搭建企业信息化系统，这种新型的开发方式，数以倍计的提高着开发者的开发效率。具体体现在以下方面： 1、成本和效率优势 低代码开发平台和原生代码开发相比到底能够提高多少效率目前还没有精确的计量，但代码量上至少可以节省80%，传统开发模式需要一周完成的工作，采用低代码开发平台--通过XJR快速开发框架的拖拽拉，可视化操作通常一天就可以做到。 **2、满足企业的多样化需求 ** 企业软件需求的多样化是定制开发模式的起源。虽然标准软件产品能够满足企业应用需求中的共性部分

3 月，跳不动了？>>> 转自我的公众号: 『数据挖掘机养成记』 本文将介绍一套『独创』的语义匹配方法论和一个杀手级模型 本文受众: 自然语言处理/问答系统/智能助手/搜索/推荐 等相关行业从业者 对自然语言处理/智能助手感兴趣的普通读者 1. 引子 『问&答』是人和人之间非常重要的沟通方式，其关键在于： 我们要理解对方的『问题』，并给出他想要的『答案』 设想这样一个场景，当你的女朋友or老婆大人在七夕前一晚，含情脉脉地跟你说 亲爱的，七夕快到了，可以给我换个新 手机 吗？ 而此时沉迷王者峡谷的你，也许会不假思索地回答 好啊亲爱的~ 昨天刚看到拼多多九块九包邮买一送一可便宜呢~ 多买几个哦一个 壳 容易坏呀 你话音未落，一记绝杀扑面而来 (王大锤，卒，享年28) 所以，对于生活中这种随处可见的送命题，只要我们惜命&稍微上点心，是不会轻易丢分的 但对于机器来说，这却是个莫大的挑战，因为机器对相似文本的『误解』非常常见，所以我们的AI也常常被用户戏谑为『人工智障』(一个听上去很缺AI的称呼) 作为AI背后的男人，我们一直致力于提升AI的能力，让机器早日摆脱智商困境。 具体地，针对这种『问答』场景，我们提出了一套新的方法论和杀手级模型，从而让AI更懂你，远离送命题~ 2. 背景 在日常生活中，我们会经常询问我们的语音助手 (小微/Siri/Alexa/小爱/小度 等等)各种各样的问题

3 月，跳不动了？>>> 导读：飞桨PaddlePaddle致力于让深度学习技术的创新与应用更简单。飞桨核心框架已提供了动态图(DyGraph)相关的API和文档，并且还附有Language model、Sentiment Classification、OCR、ResNet等模型的动态图版本官方实现。飞桨目前兼具了动态图和静态图的优势，同时具备灵活性和高效性。 飞桨动态图&静态图整体结构如下： 1. 动态图与静态图 目前深度学习框架主要有声明式编程和命令式编程两种编程方式。声明式编程，代码先描述要做的事情但不立即执行，对深度学习任务建模，需要事先定义神经网络的结构，然后再执行整个图结构，这一般称为静态图模式。而命令式编程对应的动态图模式，代码直接返回运算的结果，神经网络结构的定义和执行同步。通常来说，静态图模式能够对整体性做编译优化，更有利于性能的提升，而动态图则非常便于用户对程序进行调试。 2. 飞桨动态图的三大特色 飞桨的DyGraph模式是一种动态的图执行机制。与静态计算图的执行机制不同，DyGraph模式下的操作可以立即获得执行结果，而不必等待计算图全部构建完成。这样可以让开发者更加直观地构建深度学习任务并进行模型的调试，同时还减少了大量用于构建静态计算图的代码，使得编写、调试网络的过程变得非常便捷。 飞桨DyGraph动态图模式，主要有三大特色： 灵活便捷的代码书写方式

某厂面试归来，发现自己落伍了！>>> TLS 知识记录 主要记录几篇关于TLS的文章，以便以后需要时，再次进行查询 TLS SSL 简介 TLS 的前身是 SSL（Secure Sockets Layer，安全套接字层），由网景公司开发，后来被 IETF 标准化并改名。 通常没有特别说明时，SSL 和 TLS 指的是同一个协议，不做严格区分。 SSL：（Secure Socket Layer，安全套接字层），位于可靠的面向连接的网络层协议和应用层协议之间的一种协议层。SSL通过互相认证、使用数字签名确保完整性、使用加密确保私密性，以实现客户端和服务器之间的安全通讯。该协议由两层组成：SSL记录协议和SSL握手协议。 TLS：（Transport Layer Security，传输层安全协议），用于两个应用程序之间提供保密性和数据完整性。该协议由两层组成：TLS记录协议和TLS握手协议。 背景 由于HTTPS的推出受到了很多人的欢迎，在SSL更新到3.0时，IETF对SSL3.0进行了标准化，并添加了少数机制(但是几乎和SSL3.0无差异)，标准化后的IETF更名为TLS1.0(Transport Layer Security 安全传输层协议)，可以说TLS就是SSL的新版本3.1，并同时发布“RFC2246-TLS加密协议详解”