神经网络

　　 　　文 | 丛末 　　编 | 贾伟 　　一堆木柴加上一根火柴，能得到什么？人类会自然而然地得出答案：火。然而对于机器而言，这并不容易，因而它们缺乏这种常识推理能力。 　　人工智能要变得像人一样聪明，常识推理能力是其必备的能力之一。 　　这，迄今为止已是一个困扰了人工智能 50 多年的难题。 　　当下，随着人工智能界对该问题的日益重视和研究上的不断精进，现在是否迎来“破局”了呢？ 　　大家可能最先想到的就是OpenAI 于去年初发布的GPT-2，但很遗憾，它在常识上的表现尚且比较“生涩”。 　　 　　发布之初，GPT-2这个具有15亿参数的通用语言模型，一时引起了轰动——成为《经济学人》第一个被采访的人工智能系统，《纽约客》也专门为它做了一篇特写。该模型生成的句子流畅度惊人，几乎可以假乱真，以至于OpenAI 公开表示，担心它太过优秀带来隐患而没有将模型完全公开。 　　不过，以批判人工智能炒作闻名的人工智能研究者Gary Marcus 对于GPT-2所呈现出来的“优秀”不以为然。 　　对此，去年10月份的一个夜晚，他对GPT-2进行了一次突击测试，在 GPT-2中输入了以下内容： 　　 当你把引火柴和木头堆在壁炉里，然后往里面扔几根火柴时，你一般是要...... 　　如果系统足够聪明，会很轻易地想到“fire（生火）”这个词，然而GPT-2的回答是：“ick”。再一次的尝试后

程序员小王正坐在电脑前写代码，屏幕跳出一条提醒：“亲，你于2019年6月5日提交的创新提案，已经通过专利审批。”这是来自阿里巴巴知识产权管理系统的通知，当公司权利库内的某项权利（比如专利）的状态发生变化时，就会自动触发系统提醒。基于“宜搭”低代码平台快速搭建应用的优势，该系统仅花1周时间就顺利上线，相比传统的开发模式，效率提升100%。 在这套系统上线前，公司对知识产权的管理很大程度上需要借助人工完成。尤其是随着阿里经济体的快速壮大，lazada，银泰商业、饿了么、考拉海购等纷纷加入，带来了大量的知识产权管理诉求，传统的人工处理方式已经无法满足业务发展的需要。 场景痛点 知识产权管理涉及多个部门（比如集团/部门法务、业务、市场、设计、研发、财务等），彼此之间的业务息息相关。可是，数据分散在各个部门，无法彼此连接和共享，这就增加了部门之间的协作难度。一旦公司的权利被侵犯，集团法务需要凭经验找对应的部门核对信息，而被问询的部门也要进行内部核对。这样一来，整个处理过程占用了大量的人力和时间，很容易错过舆情处理的最佳时间。 为了解决以上问题，阿里巴巴企业智能事业部的法务研发团队决定打造一套全新的知识产权管理系统，通过在线化、智能化的方式，实现对集团知识产权的全生命周期管理。 首先，法务研发团队评估了外购和内部开发两种方案：如果选择外购，成本高而且市面上并没有贴合实际业务的专项管理系统

幻方投资陆政哲：完全依靠人工智能的量化投资模式 原创 基金经理英雄榜 点拾投资 昨天 导读：过去几年A股市场发展最快的就是量化投资，特别是伴随着投资工具的丰富、投资理念的先进、以及科技技术的进步，量化投资从过去的非主流，变成了A股市场重要的参与者。那么量化投资捕捉的短期波动是否具有科学性，他们的超额收益来源又是什么？我们今天访谈了国内顶尖量化投资机构，幻方量化的CEO陆政哲。幻方量化是国内领先的对冲基金，前不久刚刚斩获三年期金牛奖，并且被认为是量化私募行业的“四大天王”之一。 陆政哲认为，中国市场由于投资者结构的因素，是量化投资的“沃土”，超额收益远超海外成熟市场。投资者行为模式是可以通过人工智能模型进行捕捉。幻方是国内在算力投入最大的私募基金，通过强大的算力，成熟的网络模型，构建幻方在策略开发和交易执行上的竞争优势。 我们先来看看本次访谈中的“金句”： 1、我们把自己定义为一家完全依靠人工智能来做投资的对冲基金。 2、我们模型的数据来源主要有三块：第一是行情数据，衍生一系列的量价指标；第二是覆盖全市场的基本面数据；第三是经过结构化处理的另类数据。我们将这三类数据作为输入，来训练机器模型，以达到预测股票在某一个周期内价格变化的目的，再基于此构建投资组合。 3、中国市场不是一个非常有效的市场，投资者行为以及决策模式就是很值得研究的。 4、不管是主观投资还是量化投资

深度学习中Attention与全连接层的区别何在？ - 哈哈哈的回答 - 知乎 https://www.zhihu.com/question/320174043/answer/1383690704 1.静态与动态权重的区别 全连接层中的权重，对于所有的样本，都是固定的、相同的；attention模式下的权重，对于不同的样本，则是不同的。 那么，在attention模型中，为什么要对不同的样本，施加不同的权重呢？ 举个例子，在如下左边的图片中，鹰在图片的右上角；在右图中，鹰在图片的左下角。如果我们希望神经网络既能捕捉到左图中的鹰，又能捕捉到右图中的鹰，我们就希望神经网络能够根据每个样本的特点，对每个样本的不同部位，施加不同的权重。 2.Attention不一定是加权的形式 传统的attention，例如SENet，都是采用特征加权的形式，所以与全连接层比较相似。 事实上，attention可以不是加权的形式，也可以是软阈值化的形式。 具体而言，attention可以用来生成软阈值化所需要的阈值，来进行特征的非线性变换，以应对各个样本中噪声含量不同的情况（残差收缩网络[1]）。 参考 Minghang Zhao, Shisheng Zhong, Xuyun Fu, Baoping Tang, Michael Pecht, Deep residual shrinkage networks

作者|ABHISHEK SHARMA 编译|VK 来源|Analytics Vidhya 介绍 自然语言处理是数据科学领域最热门的课题之一。公司在这一领域投入大量资金进行研究。每个人都在努力了解自然语言处理及其应用，并以此为生。 你知道为什么吗？ 因为仅仅在短短几年的时间里，自然语言处理已经发展成为一种无人能想象的强大而有影响力的东西。 为了了解自然语言处理的力量及其对我们生活的影响，我们需要看看它的应用。因此，我列出了自然语言处理的十大应用。 那么，让我们从自然语言处理的第一个应用开始。 搜索自动更正和自动完成 每当你在谷歌上搜索某个东西，在输入2-3个字母后，它会显示可能的搜索词。或者，如果你搜索一些有错别字的东西，它会更正它们，仍然会找到适合你的相关结果。是不是很神奇？ 它是每个人每天都在使用的东西，但从来没有太多的关注它。这是自然语言处理的一个很好的应用，也是一个很好的例子。它影响世界上数百万人，包括你和我。 搜索自动完成和自动更正都有助于我们更有效地找到准确的结果。现在，其他许多公司也开始在他们的网站上使用这个功能，比如Facebook和Quora。 搜索自动完成和自动更正背后的驱动引擎是语言模型。 语言翻译 你有没有用谷歌翻译来找出不同语言中的某个词或短语？它将一段文字用一种语言翻译成另一种语言的容易程度是相当惊人的，对吧？它背后的技术是机器翻译。

TensorFlow是目前深度学习最流行的框架，很有学习的必要，下面我们就来实际动手，使用TensorFlow搭建一个简单的CNN，来对经典的mnist数据集进行数字识别。 如果对CNN还不是很熟悉的朋友，可以参考： Convolutional Neural Network 。 下面就开始。 step 0 导入TensorFlow 1 import tensorflow as tf 2 from tensorflow.examples.tutorials.mnist import input_data step 1 加载数据集mnist 声明两个placeholder，用于存储神经网络的输入，输入包括image和label。这里加载的image是(784,)的shape。 1 mnist = input_data.read_data_sets( ' MNIST_data/ ' , one_hot= True) 2 x = tf.placeholder(tf.float32,[None, 784 ]) 3 y_ = tf.placeholder(tf.float32, [None, 10]) step 2 定义weights和bias 为了使代码整洁，这里把weight和bias的初始化封装成函数。 1 # ----Weight Initialization---# 2 # One

现在小伙伴说的人工智能都是弱智能，可以基于神经网络来做。而神经网络是有多层网络，每一层网络都有多个神经元。那么最简单的神经网络就是只有一层，而这一层只有一个神经元，也就是整个神经网络只是有一个神经元。一个神经元可以用来做什么？可以用来做基础的与或逻辑运算器。在我没有告诉神经元与或的逻辑时，只是通过我传输的输入的值和输出的值，此时神经元经过训练就能自己学会与或的逻辑。本文就在不使用现成的人工智能框架下一步步和大家写这一个神经元和告诉大家这是如何运行的。本文特别适合小伙伴入门神经网络，或者适合小伙伴入手写代码 在所有逻辑开始之前，先要了解一下在代码可以如何组织。很多时候都不需要整个逻辑都了解就可以开始写代码了，一边写一边修改才是最具小项目效率的。在开始之前，先约定好本文要做的内容，本文就是来写一个神经网络，这个神经网络其实只有一个神经元而这个网络做的事情就是训练出一个 或 逻辑的计算库 什么是 或 运算呢？其实就是输入两个布尔值，只要存在一个值是 1 那么输出就是 1 除非两个输入都是 0 才能输出 0 的值。那么什么时布尔值呢？就是表示一个数字只有两个取值，在本文这里就使用 0 和 1 两个值。所以 或 运行就是输入两个值，这两个值要么是 0 要么是 1 而输出也相同 来小伙伴，请做一道初中学生题目。我有两个值 a 和 b 可以输入，这两个值要么是 0 要么是 1 的值

　IT之家3月3日消息 我们知道，要想把人物跟视频背景中分离开来，一般常用的方法是绿幕抠像，但这种方法准备起来比较费时，还需要一块绿幕。为此，谷歌开发了一种新技术，可实时删除视频中人物的复杂背景。 　　 　　根据谷歌的说法，将人从背景中分离出来使用了“卷积神经网络（CNN）”技术，它常被用于机器学习。从演示图像能够看出，人物的真实背景被删除，换上了一些虚拟的背景，并且也没有特别假的感觉。 　　 　　 　　为了实现高度精确的“分割”，谷歌用该技术学习了数以万计的图像数据，并且专门分辨出“头发”、“颈部”、“皮肤”等处的数据。 　　 　　这项技术计划被用于智能手机上，这样的话处理负载就不能太高。因此，研究人员根据“电影是所有帧图像的集合，并且在相邻帧中图像几乎不发生变化”的原理，来计算并找到每帧的人的位置，这样就减少了计算量。 　　 　　目前这种技术何时正式应用还不得而知，可以看出是很有潜力的。 转自：http://dy.163.com/v2/article/detail/DC10C7UV0511B8LM.html 来源： oschina 链接： https://my.oschina.net/u/4406182/blog/4273182

常用深度学习框——Caffe/ TensorFlow / Keras/ PyTorch/MXNet 一．概述 近几年来，深度学习的研究和应用的热潮持续高涨，各种开源深度学习框架层出不穷，包括TensorFlow，Keras，MXNet，PyTorch，CNTK，Theano，Caffe，DeepLearning4，Lasagne，Neon，等等。Google，Microsoft等商业巨头都加入了这场深度学习框架大战，当下最主流的框架当属TensorFlow，Keras，MXNet，PyTorch，Caffe接下来对这四种主流的深度学习框架从几个不同的方面进行简单的对比。 选择框架，建议几个点考虑： 1）框架能不能解决你的问题。比如某些框架对rnn或者lstm支持不足。 这个是必要条件。下面的都附加条件。 2）框架的资源是否足够。比如文档，社区，开源的项目支持。 3）框架是否易于上手，学习曲线如何。这个就因人而异了。 4）框架应用是否和现有系统匹配。这个也是根据你自己的具体情况了。 二. Caffe Caffe作为入门级的深度学习框架，对于一般的深度学习任务，如图像分类/ 目标检测/ 实例分割等，存在已有的代码供大家参考，使得上手很快，需要新手修改的地方一般为配置文件，基本不需要书写代码。而且Caffe是基于C++的代码，因此训练方面很快。因此，作为新手入门这是一个很好的框架

要想不被别人猜到自己在嘀咕什么，只能永远戴着口罩了。 机器之心报道，参与：蛋酱、小舟。 有一个人类的本能行为，或许我们很难察觉：当因为隔得太远或者环境噪音太大而听不清对方说话的时候，你会下意识地观察对方的唇部动作，来判断这个人到底在讲什么。 实际上，对于失聪或者听力较弱的人来说，唇读也是一项必须掌握的技能。 既然人类可以从唇部动作中读取讲话的内容，反过来说，我们是否能够教会 AI 去学习这套方法，并且再进一步输出语音呢？答案是肯定的，并且这门技术已经在公共安全等领域有着相当广泛的应用。 近日，来自印度海得拉巴国际信息技术研究所（IIIT, Hyderabad）的团队发布了他们在这一领域的最新成果。目前，该研究的代码、数据、模型均已公布。 论文链接： https:// arxiv.org/abs/2005.0820 9 项目地址： https:// github.com/Rudrabha/Lip 2Wav 要想由唇部动作生成语音，必须一些无法忽视的阻碍，比如很多听觉上完全不同的声音，在唇部动作上是十分相似甚至完全一样的。 对于专业的唇读者来说，他们会借助其他方式来增加还原唇语的准确性，比如根据所谈论话题去联想、根据面部表情和手势等因素去推测。还有一点就是，对于聋哑人和专业的唇读者来说，读取那些经常互动的人的唇语会更容易。 在这项研究中，研究者从一个新的层面去探讨了唇语合成的问题