神经网络

笔记：Andrew Ng's Deeping Learning视频 参考： https://xienaoban.github.io/posts/58457.html 本章介绍了优化算法，让神经网络运行的更快 Mini-batch 梯度下降 将 \(X = [x^{(1)}, x^{(2)}, x^{(3)}, ..., x^{(m)}]\) 矩阵所有 \(m\) 个样本划分为 \(t\) 个 子训练集 每个子训练集称为 \(x^{\{i\}}\) , 每个子训练集内样本个数均相同(若每个子训练集有1000个样本, 则 \(x^{\{1\}} = [x^{(1)}, x^{(2)}, ..., x^{(1000)}]\) ，维度为 \((n_x,1000)\) . 若m不能被子训练集样本数整除, 则最后一个子训练集样本可以小于其他子训练集样本数. \(Y\) 亦然. 训练时, 每次迭代仅对一个子训练集进行梯度下降: \[\begin{aligned} & \text{Repeat} :\\ & \qquad \text{For } i = 1, 2, ..., t: \\ & \qquad \qquad \text{Forward Prop On } X^{\{i\}} \\ & \qquad \qquad \text{Compute Cost } J^{\{i\}} \\ &

　　 　　作者 | 青暮 　　编辑 | 陈彩娴 　　2020年6月29日，未来论坛·青创联线上学术研讨会YOSIA Webinar举办第三期论坛，主题为《AI+化学与制药，人工智能为药物研发和化学研究按下快进键》。本期AI+化学与制药主题研讨会将汇集化学、制药行业代表及人工智能专家学者，一同探讨化学与制药行业的价值、研究路径及未来发展方向。 　　在论坛中，我们可以看到人工智能经常在化学和制药领域中碰撞出创新的思想之火花。例如，化学逆合成反应借鉴了AlphaGo的思想，小分子可以编码为字符串用NLP技术处理，或者编码为无向连接图用GNN处理，甚至可以用生成模型生成新的化学分子，以及用深度学习来预测化学物质的性质等等。 　　随着人工智能时代的到来，研究人员需要在无穷变化的化学反应条件下手工设计出化学合成路线的“劳动密集型”将成过去，未来化学领域的人工智能应用能够掌握和消化海量合成方法、合成路线、材料结构和性能等，辅助化学家描绘出合成过程的“蓝图”，从繁重的手工劳动中解放出来。 　　在AI技术助力化学研究与新药研发的进程下，化学科研仍需大量创新和跳跃性思维，为人工智能提供创新策略，推进人工智能系统不断优化，后者再反过来推动化学研究人员进行更深入的研究。 　　论坛邀请由麻省理工学院生物系副教授翁经科主持，邀请了来自合成化学、药物设计、化学化工、制药行业的人工智能专家，分别是：

机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。通过计算机对数据的处理和对算法的运用，实现对业务场景的深度分析，帮助人们更好的做决策。永洪深度分析模块是将机器学习算法封装成节点，用户通过拖拽的方式从而便捷的应用机器学习算法。 如何使用深度分析模块？首先需要安装永洪Desktop，里面会带有深度分析功能，目前可以免费试用3个月。其次根据需要安装R服务环境或Python服务环境，也可以两个都安装。如果不会安装可以查看在线帮助或到官网社区中的产品问答中看相关说明。再次，安装好后，打开Desktop，选择【管理系统】-【系统设置】-【R计算配置/Python计算配置】，如下图1所示。填写服务器地址和端口号，点击测试连接，如果连接正确，右上角会弹出测试成功。最后点击保存连接，至此，深度分析功能就可以使用了。 图1 想要对业务进行深度分析，就需要对机器学习的流程有一定的了解，通常的流程共有8步，如下图2。在永洪的产品中提供了几个常用的深度分析的场景，大家可以打开看看，也可以复用使用。 图2 第一步，问题分析，就是要确定对哪个问题进行分析。例如，对于银行业企业，通常会进行信用卡反欺诈分析、营销策略分析等。对于零售行业，通常会进行销售预测、用户画像分析等。对于政府，可以进行交通预测

　　 CCAI 2020年8月29日-30日 　　2020年中国人工智能大会（Chinese Congress on Artificial Intelligence 2020，简称“CCAI 2020”）将于8月29日-30日在南京召开。CCAI 2020以“智周万物”为主题，探讨人工智能作为引领未来的战略性技术，如何以周知万物的学术境界赋能未来，带动时代发展，实现互联世界的远大理想。 　　 北京大学信息科学技术学院教授，麦戈文脑科学所研究员吴思将出席本次大会并担任《人与机器智能专题论坛》论坛主席。 　　 吴思 ：北大-清华生命科学联合中心研究员。研究方向是计算神经科学和类脑计算，发表论文上百篇，包括大量神经科学顶级期刊和人工智能顶级会议。Frontiers in Computational Neuroscience共同主编。 　　 　　 01 　　 　　 Decentralized Multisensory Information Integration in Neural Systems 　　 论文地址： 　　https://www.jneurosci.org/content/jneuro/36/2/532.full.pdf 　　 介绍： 如何将多种感觉线索整合到神经回路中仍然是一个挑战。普遍的假设是，信息集成可能会在专用的多感觉集成区域中完成，该区域从多种感觉模式接收前馈输入

心电信号的噪声 EGG信号具有微弱、低幅值、低频、随杋性的特点，很容易被噪声干扰，而噪声可能来自生物体内，如呼吸、肌肉颤抖，也可能因为接触不良而引起体外干扰。是ECG信号主要的三种噪声为工频干扰、肌电干扰和基线漂移3，也是在滤波过程中急需被抑制去除的噪声干扰。 工频干扰：是由采集心电信号的设备周身的供电环境引起的电磁干扰，幅值低，噪声频率为50Hz左右，其波形很像一个正弦信号，该噪声常常会淹没有用的心电信号，也会影响P波和T波的检测。 肌电干扰：在心电图采集过程中，因为人体运动肌肉不自主颤抖造成，这种干扰无规律可言，波形形态会急速变化，频率很高，并且分布很广，范围在0-2000Hz内，能量集中在30-300Hz内，持续时间一般为50ms，肌电干扰与心电信号会重合在一起，这会导致有用的心电信号细微的变化很可能被忽视。 基线漂移：属于低频干扰，频率分布在0.15-0.3Hz内，由于电极位置的滑动变化或者人体的呼吸运动造成心电信号随时间缓慢变化而偏离正常基线位置产生基线漂移，幅度和频率都会时刻变化着。心电信号中的PR波段和ST波段非常容易受到影响产生失真。 心电信号的预处理 小波变换（Wavelet Transform, WT）可以进行时频变换，是对信号进行时域以及频域分析的最为理想工具。本文对含噪心电信号采用基于小波变换的去噪处理方法，分为以下3个步骤： 由于噪声和信号混杂在一起

　　 　　近些年来，AI 领域对图神经网络（GNN，Graph Neural Networks）的关注越来越高，尤其是自2019年开始，GNN 更是成为各大学术顶会最热门的主题之一，不仅相关主题的论文数量迎来了井喷式增长，相关主题的 Workshop 也成为了会议中最亮眼的存在。 　　作为图结构数据的深度学习架构，GNN能够将端到端学习与归纳推理相结合，被 AI 界普遍视作有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题的重点研究方向。 　　然而世界上并不存在万效药，GNN 也存在其内在的局限性，目前研究界也正在从理论和应用实践层面对此进行研究。 　　北京大学和香港科技大学携手在KDD 2020 上发表的这篇工作 “Graph Structural-topic Neural Network” ，便着眼于GNN 在处理网络局部子结构方面的局限性，进行了深入研究。 　　 　　论文地址：https://www.gjsong-pku.cn/files/KDD_GraphSTONE.pdf 　　以高效地对节点邻域特征进行聚合为长的 GNN ，虽然可以聚合邻域内的节点特征，但无法高效地提取和表征邻域内的子结构特征（例如 Graphlets等高阶的结构模式）。而此类结构特征（Local Structure）却在社交网络、生物网络、分子网络等信息网络中是极为重要的结构特征。 　　因此

　　 　　编译 | 陈大鑫 　　编辑 | 丛 末 　　首度于线上召开的CVPR 2020 会议已经落下帷幕。今年，大会共有1467篇论文被接收，共举办了29个Tutorial、64个Workshop，线上与会者人数达 7600人。大量的论文，加上今年新采用虚拟会议的形式，曾一度让会议浏览器不堪重负（浏览速度非常慢）。 　　为了让大家更好地掌握今年会议的总体研究趋势，一位深度学习专业的博士生Yassine Ouali 专门撰写了一篇博客，总结了一些引起他关注的论文，以呈现今年会议的大致面貌。 　　 我们先来看下 CVPR 2020 官方的相关统计数据： 　　CVPR 往年的增长趋势仍然继续：作者人数增加了20％，提交论文的数量增加了29％，同时为了适应这种扩张，审稿人和领域主席都有增加 　　 　　今年会议的注册人数共有6424人，相比2019年增加了一千多人。在被接收的1467篇论文中，有335篇 Oral 论文。 　　 　　 　　与去年相似，就接受论文而言，中国是CVPR的第一贡献者，其中来自清华大学的作者数量最多，其次是美国（按国家）和Google（按组织）。 　　 　　不出所料，被接收的论文主题多数集中在与学习、识别、检测和理解有关的主题上。但是，人们对诸如高效标签方法（例如，迁移学习），图像合成和机器人感知等相对较新的领域越来越感兴趣

心电信号的噪声 EGG信号具有微弱、低幅值、低频、随杋性的特点，很容易被噪声干扰，而噪声可能来自生物体内，如呼吸、肌肉颤抖，也可能因为接触不良而引起体外干扰。是ECG信号主要的三种噪声为工频干扰、肌电干扰和基线漂移3，也是在滤波过程中急需被抑制去除的噪声干扰。 工频干扰：是由采集心电信号的设备周身的供电环境引起的电磁干扰，幅值低，噪声频率为50Hz左右，其波形很像一个正弦信号，该噪声常常会淹没有用的心电信号，也会影响P波和T波的检测。 肌电干扰：在心电图采集过程中，因为人体运动肌肉不自主颤抖造成，这种干扰无规律可言，波形形态会急速变化，频率很高，并且分布很广，范围在0-2000Hz内，能量集中在30-300Hz内，持续时间一般为50ms，肌电干扰与心电信号会重合在一起，这会导致有用的心电信号细微的变化很可能被忽视。 基线漂移：属于低频干扰，频率分布在0.15-0.3Hz内，由于电极位置的滑动变化或者人体的呼吸运动造成心电信号随时间缓慢变化而偏离正常基线位置产生基线漂移，幅度和频率都会时刻变化着。心电信号中的PR波段和ST波段非常容易受到影响产生失真。 心电信号的预处理 小波变换（Wavelet Transform, WT）可以进行时频变换，是对信号进行时域以及频域分析的最为理想工具。本文对含噪心电信号采用基于小波变换的去噪处理方法，分为以下3个步骤： 由于噪声和信号混杂在一起

点击 上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 模仿是最原始的学习方法，也是实现人工智能的基石。 通过深度学习和算法，机器人也可以通过看视频学会各种各样的技能。 先看个图： 是不是觉得有点眼熟。 没错，它就是技艺高超，被大家所熟知的达芬奇机器人。 这次它又被赋予了新功能：通过观看教学视频，学会外科手术中的相关任务。比如缝合，穿针，以及打结等动作。 让达芬奇机器人变成‘模仿艺人’的关键，是一个叫做Motion2Vec的半监督式学习算法，近日由谷歌大脑，英特尔公司和加利福尼亚大学伯克利分校合作开发。 起初，加州大学伯克利分校的教授曾使用YouTube视频作为机器人学习各种动作（例如跳跃或跳舞）的指南。机器人模仿视频中的动作，成功学习了20多种杂技，比如侧空翻、单手翻、后空翻等高难度动作。 谷歌此前也有过相关研究，例如使用视频来教授四足机器人学习狗狗的灵活动作。 这些经历促成了他们彼此的合作，他们将这些知识应用于最新项目Motion2Vec中，在这个过程中，使用了实际手术过程的视频进行指导和训练。 在最近发布的论文中，研究人员概述了他们如何使用 YouTube视频训练两臂的达芬奇机器人在织布机上插入针头并进行缝合。 人类在看视频的时候可以迅速理解内容，但机器人目前无法做到这一点，它们只是将其视为像素流。因此，要以机器人的方式让他们理解并学习——弄清并分析这些像素

论文提出经济实惠且高效的神经网络结构搜索算法EAS，使用RL agent作为meta-controller，学习通过网络变换进行结构空间探索。从指定的网络开始，通过function-preserving transformation不断重用其权重，EAS能够重用之前学习到的知识进行高效地探索新的结构，仅需要10 GPU days即可   来源：晓飞的算法工程笔记 公众号 论文: Efficient Architecture Search by Network Transformation 论文地址： https://arxiv.org/abs/1707.04873 Introduction   为了加速神经网络搜索过程，论文提出EAS(Efficient Architecture Search)，meta-controller通过网络转化(network transformation)操作进行结构空间探索，操作包含拓宽层，插入层，增加skip-connections等。为了继续使用学习到的权重，基于function-preserving transformation来初始化新的不同参数的网络，再进一步训练来提高性能，能够显著地加速训练过程。对于meta-controller，则结合了最近的强化学习方法 Architecture Search by Net