神经网络

转载本文需注明出处：微信公众号EAWorld，违者必究。 目录： 一、为什么需要自动机器学习 二、超参数优化 Hyper-parameter Optimization 三、元学习 Meta Learning 四、神经网络架构搜索 Neural Architecture Search 五、自动化特征工程 六、其它自动机器学习工具集 一、为什么需要自动机器学习 对于机器学习的新用户而言，使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行，工程师需要选择相应的神经网络架构，训练过程，正则化方法，超参数等等，所有的这些都对算法的性能有很大的影响。于是深度学习工程师也被戏称为调参工程师。 自动机器学习（AutoML）的目标就是使用自动化的数据驱动方式来做出上述的决策。用户只要提供数据，自动机器学习系统自动的决定最佳的方案。领域专家不再需要苦恼于学习各种机器学习的算法。 自动机器学习不光包括大家熟知的算法选择，超参数优化，和神经网络架构搜索，还覆盖机器学习工作流的每一步： 自动准备数据 自动特征选择 自动选择算法 超参数优化 自动流水线/工作流构建 神经网络架构搜索 自动模型选择和集成学习 二、超参数优化 Hyper-parameter Optimization 学习器模型中一般有两类参数，一类是可以从数据中学习估计得到，还有一类参数时无法从数据中估计

前几天我们推送了一篇文章： 采用FPGA加速的腾讯云是如何快速做基因测序的 ，可以看到包括腾讯、微软、百度等很多巨头数据中心都采用或者准备采用FPGA，那么为什么FPGA会逐渐被这些巨头所采用？我们找到一篇文章，以微软数据中心采用FPGA来做分析讲解。 原标题：如何评价微软在数据中心使用 FPGA 代替传统 CPU 的做法？ 来源：知乎、AI科技评论 作者：李博杰 https://www.zhihu.com/question/24174597/answer/138717507 问题「用 FPGA 代替 CPU」中，这个「代替」的说法不准确。我们并不是不用 CPU 了，而是用 FPGA 加速适合它的计算任务，其他任务仍然在 CPU 上完成，让 FPGA 和 CPU 协同工作。 本回答将涵盖三个问题： 为什么使用 FPGA，相比 CPU、GPU、ASIC（专用芯片）有什么特点？ 微软的 FPGA 部署在哪里？FPGA 之间、FPGA 与 CPU 之间是如何通信的？ 未来 FPGA 在云计算平台中应充当怎样的角色？仅仅是像 GPU 一样的计算加速卡吗？ 一、为什么使用 FPGA？ 众所周知，通用处理器（CPU）的摩尔定律已入暮年，而机器学习和 Web 服务的规模却在指数级增长。 人们使用定制硬件来加速常见的计算任务，然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务

文章已同步更新在https://ldzhangyx.github.io/，欢迎访问评论。 五个月没写博客了，不熟悉我的人大概以为我挂了…… 总之呢这段时间还是成长了很多，在加拿大实习的两个多月来，我在编码能力和眼界上都有了极大长进。当然，我也点上了烹饪技能点。 废话不多说，我们来看一篇论文，就是标题所说的使用模态注意力和图像过滤机制的多模态句子摘要。 ==================== 个人见解 宗成庆老师的这篇文章发表于ACL'18，同时获得了国家自然科学基金的支持。文章着眼于利用图片信息提升摘要与原文本的相关性。 原文：www.nlpr.ia.ac.cn/cip/ZongPublications/2018/2018HaoranLiIJCAI.pdf 在处理图片信息的时候，这个模型使用了VGG-19，提取特征的能力上没有什么问题。 亮点 这篇文章的思路与一般的额外信息有一些区别，同是用额外信息干涉指导文本生成，这个模型同时使用了两个attention，并提出了一种加权机制将两个attention组合起来。在我读过的另一篇文章《Diversity driven Attention Model for Query-based Abstractive Summarization》中，作者试图用query的context干涉document的context

在上一节Keras文本分类实战（上），讲述了关于NLP的基本知识。这部分，将学会以不同方式将单词表示为向量。 词嵌入（word embedding）是什么 文本也被视为一种序列化的数据形式，类似于天气数据或财务数据中的时间序列数据。在之前的BOW模型中，了解了如何将整个单词序列表示为单个特征向量。下面将看到如何将每个单词表示为向量。这里有多种方法可以对文本进行向量化，比如： 每个词语（word）表示的词语（words）作为向量 每个字符（character）表示的字符（characters）作为向量 N-gram单词/字符表示为向量 在本教程中，将使用单热编码和单词嵌入将单词表示为向量，这是在神经网络中处理文本的常用方法。 独热码（one-hot encoding） 将单词表示为向量的第一种方式是创建独热码，这是通过将词汇长度的向量与语料库中的每个单词的条目组合一起来完成。 通过这种方式，对于每个单词，只要它在词汇表中存在，就会将该单词在相应的位置设置为1，而向量中其它的位置设置为0。但这种方式可能为每个单词创建相当大的向量，且不会提供任何其他信息，例如单词之间的关系。 假设有一个城市列表，如下例所示： >>> cities = [ 'London' , 'Berlin' , 'Berlin' , 'New York' , 'London' ] >>> cities [

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 编辑：Amusi | 来源：知乎 https://www.zhihu.com/question/25097993 本文仅作为学术分享，如果侵权，会删文处理 深度学习调参有哪些技巧？ 深度学习的效果很大程度上取决于参数调节的好坏，那么怎么才能最快最好的调到合适的参数呢？求解 作者：Jarvix https://www.zhihu.com/question/25097993/answer/153674495 只想说一句：初始化 一次惨痛的教训是用normal初始化cnn的参数，最后acc只能到70%多，仅仅改成xavier，acc可以到98%。 还有一次给word embedding初始化，最开始使用了TensorFlow中默认的initializer（即glorot_uniform_initializer，也就是大家经常说的无脑使用xavier），训练速度慢不说，结果也不好。改为uniform，训练速度飙升，结果也飙升。 所以，初始化就跟黑科技一样，用对了超参都不用调；没用对，跑出来的结果就跟模型有bug一样不忍直视。 作者：BBuf https://www.zhihu.com/question/25097993/answer/934100939 大概调了快一年CNN(2019年1月到今天)

文章目录 本课题的研究内容： 探地雷达原理 探地雷达图像预处理 图像倾斜矫正 均值法去背景原理与实现 图像分割技术 阈值分割技术的实现 腐蚀与膨胀技术 探地雷达杂波抑制研究与实现 探地雷达合成孔径成像 探地雷达目标识别 总结 本文为论文解读，为2008年发布的基于传统图像处理与识别论文，目标是探地雷达信号的识别。 本课题的研究内容： 1、讨论了各种探地雷达杂波抑制方法，数字图像的基本理论和图像倾 斜矫正方法，重点介绍了均值法去背景这种最常用的杂波抑制方法，分析 实现了图像的分割技术、滤波技术以及腐蚀与膨胀技术。从浅地层探地雷 达图像的特点出发，提出一种基于图像处理技术抑制探地雷达杂波的方 法。 2、分析了浅地层探地雷达合成孔径成像与普通雷达合成孔径成像的不 同。研究了探地雷达合成孔径成像时的一个重要参数——波速的估计问 题，使用了一种基于Hou曲变换的波速估计方法。在各种探地雷达合成 孔径成像方法中，改进了一种快速微波全息合成孔径成像方法。 3、介绍了针对B．scan的探地雷达目标识别与定位方法，在前述所提 杂波抑制的基础上运用并实现了一种有效的特征提取方法和基于模糊聚 类分析的自动识别方法，并实现了一种基于窗口划分的目标定位方法。 探地雷达原理 探地雷达(c№und Penetrating Radar简称GPR)是一种对地下或物体内不可见的目 标或界面进行定位的电磁技术

众所周知，深度学习正逐渐获得越来越多的关注，并且毫无疑问成为机器学习领域最热门的话题。 深度学习可以被看作是一组算法的集合，这些算法能够高效地进行多层人工神经网络训练。 在本章，读者将学习人工神经网络的基本概念，并且接触到新近基于Python开发的深度学习库，从而更进一步去探索机器学习研究领域中这一最为有趣的内容。 使用人工神经网络对复杂函数建模： 我们在第2章中从人工神经元入手，开始了机器学习算法的探索。对于本章中将要讨论的多层人工神经网络来说，人工神经元是其构建的基石。 人工神经网络的基本概念是建立在对人脑如何应对复杂问题的假想和模型构建上的。 在过去的十年中，神经网络研究领域的许多重大突破成就了当前的深度学习算法，此算法可以通过无类标数据训练的深度神经网络（多层神经网络）进行特征检测。 神经网络不仅仅是学术领域的一个热门话题，连Facebook、微软及谷歌等大型科技公司都在人工神经网络和深度学习研究领域进行了大量的投入。 时至今日，由于能够解决图像和语音识别等复杂问题，由深度学习算法所驱动的复杂神经网络被认为是最前沿的研究成果。 我们日常生活中深度学习的常见例子有谷歌图片搜索和谷歌翻译，谷歌翻译作为一款智能手机应用，能够自动识别图片中的文字，并将其实时翻译为20多种语言。 当前一些主要的科技公司正在积极开发更多有趣的深度神经网络应用

计算机视觉目标检测算法综述 版权声明：转载请注明出处 https://blog.csdn.net/qq_16525279/article/details/81698684 传统目标检测三步走：区域选择、特征提取、分类回归 遇到的问题： 1.区域选择的策略效果差、时间复杂度高 2.手工提取的特征鲁棒性较差 深度学习时代目标检测算法的发展： Two-Stage： R-CNN 论文地址： Rich feature hierarchies for accurate object detection and semantic segmentation 地位：是用卷积神经网络（CNN）做目标检测的第一篇，意义影响深远。 核心思想： 1.区域选择不再使用滑窗，而是采用启发式候选区域生成算法（Selective Search） 2.特征提取也从手工变成利用CNN自动提取特征，增强了鲁棒性。 流程步骤： 1.使用Selective Search算法从待检测图像中提取2000个左右的区域候选框 2.把所有侯选框缩放成固定大小（原文采用227×227） 3.使用CNN（有5个卷积层和2个全连接层）提取候选区域图像的特征，得到固定长度的特征向量 4.将特征向量输入到SVM分类器，判别输入类别；送入到 全连接网络 以回归的方式精修候选框 优点： 1.速度 传统的区域选择使用滑窗，每滑一个窗口检测一次

点击蓝字 关注我们 作者丨李雨晨 来源丨AI科评论 2020 年 8 月 7 日，全球人工智能和机器人峰会（CCF-GAIR 2020）正式开幕。CCF-GAIR 2020 峰会由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。从 2016 年的学产结合，2017 年的产业落地，2018 年的垂直细分，2019 年的人工智能 40 周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。 在第一天的人工智能前沿专场上，南京大学计算机系主任、人工智能学院院长、CCF会士、ACM、AAAI、IEEE、IAPR Fellow 周志华 教授以 “反绎学习” 为题发表了大会报告。 周志华表示，当今的人工智能热潮是由于机器学习，特别是其中的深度学习技术取得巨大进展，在大数据、大算力的支持下发挥出巨大的威力。机器学习算法模型用了更多数据和算力后，获得的性能增长可能远超算法模型设计者的预想。但是，把模型“做大”要付出高昂的成本代价。 因此，他认为， 在人工智能研究上，学术界和工业界适宜有不同的分工：把“对性能的追求”交给工业界，学术界回到本源，做“探路”和“思考未来”的事情。 如何将“机器学习“与“逻辑推理”相结合，是人工智能领域的“圣杯问题”，以往的努力有的是“重推理”，有的是“重学习”

　　10 月 25 日，由中国工程院、中国光学工程学会主办的 “第二届未来技术与颠覆性创新国际大会暨第 310 场中国工程科技论坛” 在杭州市盛大召开。 　　这是一场业内顶级峰会，大会开幕由中国工程院工程管理学部胡文瑞院士进行主持，中国工程院原副院长、本次大会主席杜祥琬院士，第十三届全国人大常委、环资委副主任委员、中国工程院原副院长赵宪庚院士，及阿里巴巴技术委员会主席王坚院士在内的多名国内外知名学者、院士莅临参加。 　　本次大会汇聚全国八百余位专家学者和代表到会，上万人在线参与直播观看，会议主要围绕对经济发展和社会进步有重要作用和深远影响的未来技术、颠覆性创新主题进行大会学术交流。并针对电子信息、未来芯片、能源、人工智能和生物信息等五大重点方向举行专题学术研讨，以及国际对接交流。 　　其中，涉及到光学、计算机科学、芯片制造等多个科学技术门类的 “光子芯片”，因为其前瞻性和对当前世界格局的颠覆性潜力而备受瞩目。 　　来自麻省理工学院的纳米光学先驱、“麦克阿瑟天才奖” 获得者马林索利亚奇（Marin Soljai）教授、及源自麻省理工学院的光子计算硬件开发公司曦智科技（Lightelligence）联合创始人兼 CEO 沈亦晨博士就 “光子芯片” 技术的发展和应用在主论坛作了精彩演讲，现由 DeepTech 整理如下。 　　 由于疫情的原因，Marin 教授本人没有到场