神经网络

高尔夫球员刚开始学习打高尔夫球时，通常会花很长时间练习挥杆。慢慢地，他们才会在此基础上练习其他击球方式，学习削球、左曲球和右曲球。本章仍着重介绍反向传播算法，这就是我们的“挥杆基本功”——神经网络中大部分工作、学习和研究的基础。 本文将着重讲解利用交叉熵代价函数改进神经网络的学习方法。 一、交叉熵代价函数 大多数人不喜欢被他人指出错误。我以前刚学习弹钢琴不久，就在听众前做了一次首秀。我很紧张，开始时错将八度音阶的曲段演奏得很低。我不知所措，因为演奏无法继续下去了，直到有人指出了其中的错误。我当时非常尴尬。不过，尽管不愉快，我们却能因为明显的错误而快速地学到正确的知识。下次我肯定能演奏正确！然而当错误不明确的时候，学习会变得非常缓慢。学习速度下降的原因实际上也是一般的神经网络学习缓慢的原因，并不仅仅是特有的。 引入交叉熵代价函数 如何解决这个问题呢？研究表明，可以使用交叉熵代价函数来替换二次代价函数。 将交叉熵看作代价函数有两点原因。第一，它是非负的，C > 0。可以看出(57)的求和中的所有单独项都是负数，因为对数函数的定义域是(0, 1)。求和前面有一个负号。 第二，如果对于所有的训练输入x，神经元实际的输出都接近目标值，那么交叉熵将接近0。假设在本例中，y = 0而a ≈ 0，这是我们想要的结果。方程(57)中的第一个项会消去，因为y = 0，而第二项实际上就是−ln(1 −

　　 　　编译 | 青暮 　　DeepMind发表了一项新研究，展示了深度学习如何帮助解决现实系统中的量子力学基本方程问题，相关论文发表在物理学期刊《Physical Review Research》，代码也已经开源。 　　这种新的神经网络架构叫做Fermionic神经网络或FermiNet，该架构适合对大量电子集合体（化学键的基本组成部分）的量子态进行建模。 　　DeepMind表示，FermiNet是第一个利用深度学习来从第一性原理计算原子和分子能量的尝试，并拥有足够的精确度。 　　他们还计划将FermiNet用于蛋白质折叠、玻璃态动力学、晶格量子色动力学等研究项目，以将这一愿景变为现实。 　　论文地址：https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.2.033429 　　代码地址：https://github.com/deepmind/ferminet 　　 1 　　 FermiNet 　　量子力学拥有大量的计算工具，但是构建有效的表示仍然是个难题。 　　即使是最近似的方法，量子化学计算最多只能求解包含数万个电子的模型，而经典的（即非量子的）化学计算技术（例如分子动力学）可以处理数百万个原子。 　　经典系统的状态可以用很简单的方式描述，只需要知道每个粒子的位置和动量。

经过一个月的准备，终于通过了TensorFlow的开发者认证，由于官方的中文文档较少，为了方便大家了解这个考试，同时分享自己的备考经验，让大家少踩坑，我整理并制作了这个中文手册，请大家多多指正，有任何问题和建议都可以在文末联系到我~ 同时，感谢各位大牛们期间对我的帮助和指导！ ------------------------------------------------------------------------------------------------------------------------------------------------------------------ 考试流程 TensorFlow Certificate 官方网站： https://tensorflow.google.cn/certificate?hl=vi 1. 阅读考生手册 提前阅读最新的考生手册，官方文档 TF_Certificate_Candidate_Handbook 的下载地址如下： https://tensorflow.google.cn/site-assets/downloads/marketing/cert/TF_Certificate_Candidate_Handbook.pdf 考试细节 考核目的 本次测试是为了考核学员应用 TensorFlow 2.x 构建模型

　　 　　 大数据文摘出品 　　 来源：wired 　　 编译：刘俊寰、朱科锦 　　近年来，人们对历史的兴趣逐渐浓厚，同时随着AI技术的进步，越来越多的技术人转向了老视频修复。 　　比如大谷，在大谷的老视频修复系列项目中，我们能看到、听到，还能看到。 　　在多次接受文摘菌采访时，大谷总是会提到一个人，那就是 Denis Shiryaev 。 　　在YouTube上，你可以在Denis Shiryaev的个人频道中，在1911年的纽约街头漫步，或者是乘坐20世纪初Wuppertal的飞行列车、甚至是在1888年的Leeds花园里见证动态影像的诞生。 　　 　　Shiryaev的YouTube频道是他位于波兰Gdansk的公司Neural Love的展示平台，该公司主要 利用神经网络和算法的结合来检修历史图像 。一些现存的胶片已经被清洗、揭开、修复、上色、稳定、修正到每秒60帧，同时分辨率也上调到了4K。 　　对于观众来说，这几乎有种 时空穿越 的感觉。Shiryaev在Neural Love的同事之一Elizabeth Peck说：“我们的客户，甚至YouTube的评论员都一致指出，它让你真实的感觉到‘我在这里看着别人做这件事’，在此之前，你更多地是在看一些更艺术或电影的东西。” 　　但是，这些修复后的视频和图像并没有让所有人都满意。对于一些艺术和图像制作的历史学家来说，

简要介绍金融数据挖掘，RBF神经网络。提出基于RBF神经网络的信用分类的一种方法。此方法可根据客户提供的烦多而复杂的资料数据来评估客户信用的好坏。发挥RBF神经网络模拟生物体中神经网络的某些结构和功能，能进行重复学习的特性。将客户资料与客户信用之间的非线性关系放进RBF网络这个“黑闸子”里面。用已有数据对网络进行训练，让它学习，调整“黑闸子”里面的各权值等。再用训练好的网络来对客户信用进行评估。 所谓个人信用评估，是指通过使用科学严谨的分析方法，综合考察影响个人信用状况的主客观因素，并对其履行债务的意愿和能力进行全面的判断和评估。个人信用评估方法主要分为定性分析和定量分析两种，前者以信贷人员的主观判断法为代表，后者以信用评分卡和信用评分模型为代表。 个人信用评估体系对消费信贷的促进作用主要表现在： （1）增进授信决策的速度，将客户繁杂的个人信息加以具体化，以代号（或等级、分数等）表示客户信用的品质，使信贷人员一目了然，便于快速做出决策。 （2）个人信用评估结果可以作为确定信用额度、信用条件之参考，例如在什么范围的评估结果必须提供担保品或保证人，在什么评估标准以下不得授予信用等。 （3）有效降低消费信贷风险，一方面，可以约束个人行为，引导个人自动守约，另一方面，则可以精确估计消费信贷风险，最大限度地防止不良贷款的产生。 （4）帮助商业银行按照风险对客户进行分类

一、创建项目 （1）进入到https://aistudio.baidu.com/aistudio/projectoverview/public （2）创建项目 点击添加数据集：找到这两个 然后创建即可。 会生成以下项目： 二、启动环境，选择GPU版本 然后会进入到以下界面 选择的两个压缩包在/home/aistudio/data/下，先进行解压： !unzip /home/aistudio/data/data15067/ fruit.zip !unzip /home/aistudio/data/data15072/PaddleDetec.zip 之后在左边文件夹就可以看到解压后的内容了： 三、查看fruit-detection中的内容： 其实是类似pascal voc目标检测数据集的格式 （1） Annotations 以第一个apple_65.xml为例： folder：文件夹名称 filename：图片名称 path：文件地址 size：图片的大小 object：图片中的对象名称以及其的左下角和右上角的坐标。 < annotation > < folder > train </ folder > < filename > apple_65.jpg </ filename > < path > C:\tensorflow1\models\research\object

很多秃头小可爱沉迷熬夜逛淘宝，以下是 来自宇宙洪荒之力的最新线报： 男生比女生多 天蝎座多 夜间小裙子搜索量位居第一 ...... 尤其，每晚有1700万人在淘宝只逛不买，他们到底在干什么？ 看完视频和下方文章，你就知道为什么上头了。 前言 来洋淘， 更有young! 洋淘轻应用的内容均是手淘用户的真实购后分享， 在这里，你可以个性化地浏览他人的美好生活， 并鼓励自我表达与分享。 图1. 洋淘轻应用截图， 左) 为双列流， 右) 为详情页 在推荐任务上，同导购产品相比，洋淘场景有着自身的特性： 新用户冷启严峻，六成以上的用户无洋淘场景内的历史内容点击； 老 用户内容兴趣也稀少，历史内容点击数不超过10，反观商品点击数却高达数倍； 用户在电商与内容两个 domain 的兴趣差异较大。 统计日志发现，电商兴趣对洋淘场景下内容点击样本的覆盖度仅为 30% 。 于是，如何把跨域的异构行为用好，提升用户的浏览深度就显得弥足珍贵。我们从 召回 ， ctr预估 两大关键环节均作了探索与创新， 大幅提升了推荐效果， 取得了显著的业务收益。 向量召回模型In_Match 前文提到内容兴趣不够用，我们首先基于i2i尝试了商品与内容的混合协同，取得了一定的收益。然后基于电商兴趣的标题作相关内容的严格相似召回，却收益为负，这说明跨域的兴趣不可生搬硬套，也与前文的兴趣差异统计相吻合。

点击上方“3D视觉工坊”，选择“星标” 干货第一时间送达 这篇文章收录于ECCV2020，是一篇关于无碰撞空间区域分割的文章，整体效果很不错。最主要的核心思想是在表面发现估计器的设计，在得到表面法线后将其用于分割网络的编码器环节，并在特征融合部分，借鉴了DenseNet的思想，进行密集连接。网络的计算量和参数量文中并没有比较，应该做不到实时。 论文地址 ：https://arxiv.org/abs/2008.11351 代码地址： https://github.com/hlwang1124/SNE-RoadSeg Freespace无碰撞空间检测是自动驾驶汽车视觉感知的重要组成部分。近年来，数据融合data-fusion卷积神经网络CNN架构大大改善了语义场景分割算法的性能。通常，可以将自由空间假设为一个地面平面，在这个平面上，各点具有相似的表面法线。因此，在本文中，首先介绍了一个名为 表面法线估计器（ surface normal estimator ，SNE）的新型模块，该模块可以从密集的深度/视差图像中高精度和高效率地推断出表面法线信息 。此外，提出了一种称为RoadSeg的数据融合CNN架构， 该架构可以从RGB图像和推断出的表面法线信息中提取并融合特征，以进行准确的自由空间检测。 同时，出于研究目的，我们发布了在不同光照和天气条件下收集的大规模合成自由空间检测数据集

论文《ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks》的完整翻译，如有翻译不当之处敬请评论指出，蟹蟹！(2019-10-17) 作者：Qilong Wang1, Banggu Wu1, Pengfei Zhu1, Peihua Li2, Wangmeng Zuo3, Qinghua Hu1 发表：暂未知 代码：https://github.com/BangguWu/ECANet 摘要 通道注意力在改善深度卷积神经网络(CNNs)性能方面具有巨大的潜力。然而，大多数现有的方法致力于开发更复杂的注意力模块，以获得更好的性能，不可避免地增加了计算负担。为了克服性能与复杂度权衡的悖论，本文尝试研究一种用于提高深度CNNs性能的超轻量级注意模块。特别地，我们提出了一个有效的通道注意(ECA)模块，它只涉及k (k<=9)参数，但带来了明显的性能增益。通过回顾SENet中的通道注意模块，我们实证地证明了避免降维和适当的跨通道交互对于学习有效的通道注意是重要的。因此，我们提出了一种无降维的局部跨通道交互策略，该策略可以通过快速一维卷积有效地实现。此外，我们开发了一个通道维数的函数来自适应地确定一维卷积的核大小，它代表了局域交叉通道相互作用的覆盖范围

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 入了深度学习的坑，没有个GPU怎么能带得动，你是不是也发愁过配什么样的GPU？NVIDIA，AMD GPU，Intel Xeon Phis，Google TPU...各家芯片让人挑花了眼，一个不行还得多买几个，而且越专业的硬件价格就越贵。 所以近年来，有人就动了个念头，硬件不行，我改软件还不行吗！ 2017年，MIT教授 Nir Shavit 在研究一个需要借助深度学习重建老鼠大脑图像的项目时，由于不知道如何在图形卡或GPU上编程，于是他选择了CPU。 Nir Shavit 没想到，竟然顺利完成了这一研究。Shavit回忆说：“看，我发现只要以合适的方式编程，CPU就可以完成GPU的工作。” 难道未来做深度学习可以不用挑选专门的硬件了？ GPU也不是百分百适合深度学习 其实，GPU成为深度学习的首选硬件也算是一个巧合。GPU(Graphics Processing Unit)也就是图形处理器，顾名思义，这些芯片最初是被设计用来在电子游戏等应用中快速渲染图形的。 我们都知道中央处理器CPU具有四到八个复杂的内核，是我们电脑中不可或缺的芯片，可以用来执行各种计算。GPU则由数百个只能执行特定操作的简单内核组成，但是这些内核可以同时执行操作，而不是一个接一个地执行