layer

　　 　　作者 | 蒋宝尚 　　编辑 | 丛末 　　6月23日，中科院计算所的研究员、智源研究院的智源青年科学家沈华伟老师在第二届北京智源大会上做了《图神经网络的表达能力》的报告。 　　在报告中，沈华伟老师提到： 这几年，虽然图神经网络在其他领域大量应用，但“内核”仍然停滞不前 ， 目前设计新图神经网络（GNN）的两种常用方式都在面临理论上的瓶颈。 　　沈华伟老师还对近几年图神经网络表达能力的相关研究进行了梳理，他说：“GNN出现的早期，大家对它表达能力的认识是基于其在半监督学习，尤其是节点分类任务上的优秀表现，一些应用向的研究也只是对图神经网络表达能力经验上的证明”。 　　基于这个认知，在介绍完图神经网络的基本知识之后，沈华伟老师对图神经网络的表达能力给予了理论上的介绍。 　　以下是演讲全文，AI科技评论做了不改变原意的整理。 此文经过沈老师修改。 　　 　　图神经网络过去几年炙手可热，也取得了一系列的突破，但是这两年发展进入了相对停滞的状态。 　　当前更多的研究员是把图神经网络当做一个工具，也即把图神经网络泛化到其他领域进行应用方向的研究。例如早期图神经网络在节点分类、链路预测以及图分类上取得了一些进展之后，很快就用在了其他领域，包括推荐领域、自然语言处理领域等等。 　　 　　其实，图神经网络“内核”仍然停滞不前 。为什么呢？因为在设计新GNN的时候通常有两种方式

万兆位的以太网也称为10吉比特以太网，是继千兆位的以太网之后产生的更快更高速的以太网。在千兆以太网的802.3Z规范出来以后，2006年6月，针对万兆以太网的802.3ae标准通过了10G的正式标准。而最近，明辰智航推出了M-P-1W万兆以太网性能测试仪，这对移动运营商、设备供应商、通信工程、企业事业单位或者对万兆以太网性能测试仪的布线使用人员来说，都是一个好消息！下面给大家解析万兆以太网性能测试仪的产品功能及亮点。 为什么要选择明辰智航万兆以太网性能测试仪： （1）设计坚固紧凑、携带方便 （2）功能强大的模块化智能网络测试平台 （3）图形化用户界面，操作方便 （4）丰富的按键设计，支持旋钮、数字键和功能键，方便灵活的输入和选择 （5）6.5寸室外增强型LCD触摸彩色显示屏，适合户外环境使用 （6）基于USB 2.0接口的测试结果快速导出 （7）基于10/100M Base-T接口的远程接入和控制 相比别人家可以多实现什么功能： （1）双端口或四端口电信级以太网测试功能 （2）提供双端以太网监测和穿通功能 （3）双端口/四端口可独立配置，同时测试 明辰智航万兆以太网性能测试仪支持以太网的普通操作： 两个10G Base-X测试接口，双端口10G WAN/LAN测试接口 两个10/100/1000M Base-T, 100M Base-FX，1000M Base-X测试端口

　　　　在 强化学习(十一) Prioritized Replay DQN 中，我们讨论了对DQN的经验回放池按权重采样来优化DQN算法的方法，本文讨论另一种优化方法，Dueling DQN。本章内容主要参考了ICML 2016的 deep RL tutorial 和Dueling DQN的论文<Dueling Network Architectures for Deep Reinforcement Learning>(ICML 2016)。 1. Dueling DQN的优化点考虑 　　　　在前面讲到的DDQN中，我们通过优化目标Q值的计算来优化算法，在Prioritized Replay DQN中，我们通过优化经验回放池按权重采样来优化算法。而在Dueling DQN中，我们尝试通过优化神经网络的结构来优化算法。 　　　　具体如何优化网络结构呢？Dueling DQN考虑将Q网络分成两部分，第一部分是仅仅与状态$S$有关，与具体要采用的动作$A$无关，这部分我们叫做价值函数部分，记做$V(S,w,\alpha)$,第二部分同时与状态状态$S$和动作$A$有关，这部分叫做优势函数(Advantage Function)部分,记为$A(S,A,w,\beta)$,那么最终我们的价值函数可以重新表示为：$$Q(S,A, w, \alpha, \beta) = V(S,w,\alpha

论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preserving transformation不断重用其权重，EAS能够重用之前学习到的知识进行高效地探索新的结构，仅需要10 GPU days即可   来源：晓飞的算法工程笔记 公众号 论文: Efficient Architecture Search by Network Transformation 论文地址： https://arxiv.org/abs/1707.04873 Introduction   为了加速神经网络搜索过程，论文提出EAS(Efficient Architecture Search)，meta-controller通过网络转化(network transformation)操作进行结构空间探索，操作包含拓宽层，插入层，增加skip-connections等。为了继续使用学习到的权重，基于function-preserving transformation来初始化新的不同参数的网络，再进一步训练来提高性能，能够显著地加速训练过程。对于meta-controller，则结合了最近的强化学习方法 Architecture Search by Net

个人公众账号: IT入门 一.Sketch简介 Sketch 是一款适用于所有设计师的矢量绘图应用。矢量绘图也是目前进行网页，图标以及界面设计的最好方式。但除了矢量编辑的功能之外，我们同样添加了一些基本的位图工具，比如模糊和色彩校正。我们尽力让 Sketch容易理解并上手简单，有经验的设计师花上几个小时便能将自己的设计技巧在Sketch中自如运用。对于绝大多数的数字产品设计，Sketch 都能替代Adobe Photoshop，Illustrator 和 Fireworks。 --摘自《sketch用户手册》 （1）Sketch是什么？ Sketch是一款轻量、高效的矢量设计工具，它在矢量编辑基础上，提供了基本的位图样式支持（例如模糊和颜色调节），支持矩形工具、文字工具、布尔运算等功能。你可以把它看做是简化版的Photoshop，矢量版的Axure rp。但需要注意的是，Sketch不是一款位图编辑器。这就是说，你如果想做的是照片修正、画笔绘图，这款软件就不合适。 Part 1 Sketch的八大优势 1. 小清新颜值高 简洁高效 – 抗干扰 界面简洁美好，功能清晰。无悬浮面板，选择一个对象/图层（objects）就会展示对应检查器（inspectors），不会有PS中处理大文件时各种开关窗口情况。 ▲ 软件截图（全屏）：左侧栏为图层区；右侧栏为检查器区 2. 使用畅快易上手 2

　　最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。 　　说到神经网络，大家看到这个图应该不陌生： 　　这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了

来自 | medium.com 作者 | Evans Tsai 链接 | https://medium.com/ai-academy-taiwan 编辑 | 机器学习与数学 常常见到 Autoencoder 的变体以及应用，打算花几篇的时间好好研究一下，顺便练习 Tensorflow.keras 的 API 使用。 Overview What is Autoencoder Types of Autoencoder Application of Autoencoder Implementation Great examples Conclusion Difficulty: ★ ★ ☆ ☆ ☆ 1 What is Autoencoder? 首先，什么是 Autoencoder 呢? 不啰唆，先看图吧！ 〄 source : Julien Despois Autoencoder 最原始的概念很简单，就是丢入一笔 input data 经过类神经网路后也要得到跟 input data 一模一样的 data。首先，整个 Autoencoder 可以拆解成 Encoder 和 Decoder 两个神经网路。Encoder 先吃进 input data，经过神经网路后压缩成一个维度较小的向量 Z，接着，再将 Z 输入 decoder 中，将 Z 还原成原始大小。听起来很容易，但是我们仔细来瞧瞧

转载于： https://blog.csdn.net/hukechui5880/article/details/90268361 如何让表格的工具按钮列显示更多的时候也能点击触发table的事件 layUI列表中,操作栏按钮过多时会自动隐藏,点击弹出隐藏按钮后,按钮本身绑定得监听事件失效.( 原文链接 ) 效果图: 解决思路可点击原文连接查看,具体解决方法如下: // 将以下代码粘入相关页面中 $(document).off( ' mousedown ' , ' .layui-table-grid-down ' ). on( ' mousedown ' , ' .layui-table-grid-down ' ,function ( event ) { table._tableTrCurrr = $( this ).closest( ' td ' ); }); $(document).off( ' click ' , ' .layui-table-tips-main [lay-event] ' ). on( ' click ' , ' .layui-table-tips-main [lay-event] ' ,function ( event ) { var elem = $( this ); var tableTrCurrr = table._tableTrCurrr; if (

Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration 【paper】： https://arxiv.org/pdf/2007.11430v1.pdf 目录 Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration Abstract Introduction Related Work Image Restoration on Hybrid Distortion Approach Primary Knowledge Feature Disentanglement Module Feature aggregation Module Auxiliary Module Overview of Whole Framework Loss Function Experiments Dataset Comparison with State-of-the-Arts Interpretative Experiment Ablation Studies Abstract Hybrid-distorted image restoration (HD-IR) i s dedicated

YOLOV3剪枝 论文：Network Slimming-Learning Efficient Convolutional Networks through Network Slimming 剪枝项目参考 https://github.com/tanluren/yolov3-channel-and-layer-pruning 主要思路 1、利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pruning）。 2、约束γ的大小，在目标方程中增加一个关于γ的L1正则项，使其稀疏化，这样可以做到在训练中自动剪枝，这是以往模型压缩所不具备的。 剪枝过程 img 这里写图片描述 分为三部分，第一步，训练；第二步，剪枝；第三步，微调剪枝后的模型，循环执行 YOLOV3剪枝源码 1、正常剪枝 这部分分析来自该仓库 https://github.com/coldlarry/YOLOv3-complete-pruning ，但是更新的仓库也可以完成正常剪枝，prune.py。 使用了正常剪枝模式，不对short cut层（需要考虑add操作的维度一致问题）及上采样层（无BN）进行裁剪。 1、找到需要裁剪的BN层的对应的索引。 2、每次反向传播前，将L1正则产生的梯度添加到BN层的梯度中。 3、设置裁剪率进行裁剪。