神经网络

　　见惯了 AI+教育，AI+医疗，AI+交通这些严肃又朴实的各种落地应用， 那么当AI遇见艺术，又会是怎样一种存在？ 　　第一认知和答案或许是春节用AI机器人写对联，用AI画幅人像、抽象画，再高深一些用AI整首小诗或小说。 　　当然这都是开发者用人工智能能力在当下或者前期探索艺术的各种尝试，无可非议。 　　 　　但就在刚刚，我们看到这样一种可能，将AI+艺术的表象、品质和定调大幅的拉升，用一场大展的形式，规模化全量的展现在大众面前，让人们得以置身其中，捕捉到AI+艺术的魅力悬念。 　　这里说的正是百度作为首席AI技术合作伙伴的“非物质 / 再物质：计算机艺术简史”大型群展，也是数字艺术有史以来最大规模的展览。 　　9月26日，在UCCA尤伦斯当代艺术中心已经正式开启。同期，百度与UCCA Lab联合策划的“百度AI沉浸式互动艺术体验展”也精彩呈现。 　　融合技术、艺术和情感的沉浸式互动体验，你的一举一动，将与AI激荡，迸发新的想象力。 　　 　　新芒X在第一时间进行了探访，在惊叹其大胆的想象力和天马行空的艺术表现形式的同时，更对百度用世界级的AI能力，不遗余力帮助人类拓展想象的边界，突破生物性的局限，更好的探索世界的意愿，深感敬意。 　　我们也试图通过视频，图文等形式，将那些打动人心的、无与伦比的部分体验记录分享，一起感受有了百度AI的沉浸式艺术体验展有多惊艳。 　　此外

浅谈注意力机制的作用 前言 什么是注意力机制 空间注意力 对于时间步的注意力机制 1.数据集的制作 2.建立注意力模型 3.建立整体神经网络 4.完整代码 5.实验效果 通道注意力机制 前言 Attention机制是很好的一个东西，Attention机制在近几年来在图像，自然语言处理和cv等领域中都取得了重要的突破，被证明有益于提高模型的性能。让我们一起来了解下注意力机制吧。 什么是注意力机制 所谓Attention机制，便是聚焦于局部信息的机制，比如，图像中的某一个图像区域。随着任务的变化，注意力区域往往会发生变化。 面对上面这样的一张图，如果你只是从整体来看，只看到了很多人头，但是你拉近一个一个仔细看就了不得了，都是天才科学家。图中 除了人脸之外的信息其实都是无用的，也做不了什么任务 ，Attention机制便是要 找到这些最有用的信息 ，可以想到，最简单的场景就是从照片中检测人脸了。 注意力机制的本质就是定位到感兴趣的信息，抑制无用信息，结果通常都是以概率图或者概率特征向量的形式展示。 我们来看下这个例子可能久更加明白了：假设我们要翻译一句话：打电脑游戏，play computer game。 如果不引入注意力机制，那么我们从Encoder获得语义编码c之后，这个语义编码在Decoder中传递，其内容就和Encoder无关了。 但是事实上我们希望在翻译打电脑游戏中的打的时候

起因一 前几天，去个商场逛逛，突然有个小伙子给我一张传单，写着“人生苦短，我学Python”，就像从前“华尔街”英语一样... 接下来，我发现很多手机里电脑上关于“学Python”的广告... 从内心来讲，我觉得大家都学习一下编程思维是好事，毕竟现在讲“全民编程”了，但是似乎大家对Python给予了太高的期望。似乎大家都在传递一个信号“学Python”，就有更好的职位，就能找到好工作！（写这篇文章的目的，是希望大家正确认识学Python本身，并不是故意黑Python，我也黑不了） 起因二 由于工作的原因，每天也会查看大量求职者投递过来的简历，很多都是应届毕业生。不管什么专业的，都会写一下“学习过Python语言”，或者参加过类似培训。见得最多的，“有说自己做过一个爬虫的”，“有说用Python写过神经网络的“，”有说用Python处理数据的（其实就是简单表格）“... 由于大部分学习时间都很短，很多都是现成的模拟和照搬，对招聘者来说，最多就是认为你“兴趣面挺广”最多认为你还“挺爱学习”，但他不会指望你通过Python能做什么事儿。实际上也根本做不了什么，前端做不了，后台也不可能让学了几周Python的同学去做（现在企业真正用Python做后台的并不多，主流还是Java PHP Node C/C++ Go R等）。处理表格Excel可能更方便，人工智能看上去高大上但是一般公司用不上

背景概述 今天看了一篇论文我觉得挺有意思，一方面是讲的股票预测相关，另一方面是把深度学习和知识图谱相结合解决一个问题。通常知识图谱和深度学习很少有交集，一般是独立发展的两个人工智能领域解决问题的手段，两者如何一起解决问题呢？这个也引发了我的好奇心，因为一直对知识图谱这个领域念念不忘，在《机器学习实践应用》最后一章还要特意加入知识图谱的内容。 论文的名字叫：<Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network>有兴趣的同学可以下载来自己也看一看。 股票预测的历史难题 KDTCN其实是KD和TCN的缩写，KD指的是Knowledge-Driven，也就是知识图谱。TCN是Temporal Convolutional Network，字面意思是临时卷积网络。其实在量化领域，已经有很多成熟的模型了，比如最早的Arima，到后来的RNN，再到LSTM，这些模型都是把股票预测看作是一组结构化的时间序列的时序预测问题。 KDTCN的出现，肯定是为了解决股票预测领域的一些痛点，我觉得有两点。其一是重大突发事件对股价的影响，如果单一把股票预测看成时间序列问题，一些突发问题的影响其实很难通过时序分析得到。比如喜闻乐见看到的，川普Twitter信息导致股价大跌：

之前学习了如何打包，如何建立虚拟环境打包，以及如何带资源打包exe. python打包成exe 可执行文件 。教程 建立虚拟环境解决python打包exe文件过大的问题（附打包带图标，多个py文件打包exe） python将资源文件一起打包进exe 讲解（有算例） 今天在此打包资源文件基础上，学习如何打包sklearn模型。 sklearn是机器学习模型，当在现实生活中，我们有时需要跑模型，而神经网络需要的包更多，程序编写也更复杂。在仅仅是为了解决问题时，我们常常倾向于选择sklearn机器学习模型。 但是打包sklearn模型时常常出现各种错误。 我总结下我打包时出现的错误及其解决方法。 问题1：from sklearn.externals import joblib 失败 cannot import name joblib 也许你在打包后运行exe文件出现这个问题，那是因为你在安装程序所需要的库时，sklearn一般是默认最新的，而最新的skleran中已经没有joblib。 这是因为joblib已经从sklearn中移除了，可以直接改为 import joblib 注意改原始程序中的模型保存与加载代码， 改为joblib joblib使用方法 import joblib #将训练的模型保存到磁盘(value=模型名) 默认当前文件夹下 joblib.dump(filename

转载：https://spaces.ac.cn/archives/3956/ 迄今为止，前四篇文章已经介绍了分词的若干思路，其中有基于最大概率的查词典方法、基于HMM或LSTM的字标注方法等。这些都是已有的研究方法了，笔者所做的就只是总结工作而已。查词典方法和字标注各有各的好处，我一直在想，能不能给出一种只需要大规模语料来训练的无监督分词模型呢？也就是说，怎么切分，应该是由语料来决定的，跟语言本身没关系。说白了，只要足够多语料，就可以告诉我们怎么分词。 看上去很完美，可是怎么做到呢？ 《2.基于切分的新词发现》 中提供了一种思路，但是不够彻底。 那里居于切分的新词发现方法确实可以看成一种无监督分词思路，它就是用一个简单的凝固度来判断某处该不该切分。但从分词的角度来看，这样的分词系统未免太过粗糙了。因此，我一直想着怎么提高这个精度，前期得到了一些有意义的结果，但都没有得到一个完整的理论。而最近正好把这个思路补全了。因为没有查找到类似的工作，所以这算是笔者在分词方面的一点原创工作了。 语言模型 首先简单谈一下语言模型。 很多数据挖掘的读者都已经听说过Word2Vec，知道它是一个能够生成词向量的工具，很多人也知道将词向量作为模型的特征来进行输入。但相信不少读者不知道为什么会有词向量，为什么Word2Vec能生成词向量。Word2Vec本身的光芒（Google出品、速度快、效果也不错

原文： TensorFlow 2.0 Quick Start Guide 协议： CC BY-NC-SA 4.0 自豪地采用 谷歌翻译 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 在线阅读 ApacheCN 面试求职交流群 724187166 ApacheCN 学习资源 目录 TensorFlow 2.0 快速入门指南 零、前言 第 1 部分：TensorFlow 2.00 Alpha 简介 一、TensorFlow 2 简介 二、Keras：TensorFlow 2 的高级 API 三、TensorFlow 2 和 ANN 技术 第 2 部分：TensorFlow 2.00 Alpha 中的监督和无监督学习 四、TensorFlow 2 和监督机器学习 五、TensorFlow 2 和无监督学习 第 3 部分：TensorFlow 2.00 Alpha 的神经网络应用 六、使用 TensorFlow 2 识别图像 七、TensorFlow 2 和神经风格迁移 八、TensorFlow 2 和循环神经网络 九、TensorFlow 估计器和 TensorFlow HUB 十、从 tf1.12 转换为 tf2 介绍 TensorFlow 是 Python 中最受欢迎的机器学习框架之一。 通过这本书，您将提高对 TensorFlow 最新功能的了解

无限宽度神经网络 是近来一个重要的研究课题，但要通过实证实验来探索它们的性质，必需大规模的计算能力才行。近日，谷歌大脑公布的一篇论文介绍了他们在有限和无限神经网络方面的系统性探索成果。该研究通过大规模对比实验得到了 12 条重要的实验结论并在此过程中找到了一些新的改进方法。该文作者之一 Jascha Sohl-Dickstein 表示：「 这篇论文包含你想知道的但没有足够的计算能力探求的有关无限宽度网络的一切！ 」 > > > > 近日，谷歌大脑的研究者通过大规模实证研究探讨了 宽神经网络与核（kernel）方法之间的对应关系 。在此过程中，研究者解决了一系列与无限宽度神经网络研究相关的问题，并总结得到了 12 项实验结果。 此外，实验还额外为权重衰减找到了一种改进版逐层扩展方法，可以提升有限宽度网络的泛化能力。 最后，他们还为使用 NNGP（神经网络高斯过程）和 NT（神经正切）核的预测任务找到了一种改进版的最佳实践，其中包括一种全新的集成（ensembling）技术。这些最佳实践技术让实验中每种架构对应的核在 CIFAR-10 分类任务上均取得了当前最佳的成绩。 论文链接：https://arxiv.org/pdf/2007.15801v1.pdf 当使用贝叶斯方法和梯度下降方法训练的神经网络的中间层是无限宽时，这些网络可以收敛至高斯过程或紧密相关的核方法

企业数字化转型迎来一波又一波热潮。 IDC研究数据显示，目前中国已有41.4%的企业成为数字化转型的坚定者，到2023年，全球超过一半的GDP将由数字化转型企业的产品和服务推动。 加速数字化转型、让业务智能化，许多行业均认可这是全面提升企业竞争力最可靠、最主流的路径，紧迫感如影随形。专业的数据科学人才还远远无法补足市场，企业对人才的需求就已经升级为既懂业务又懂技术的复合型精英。 为了快速提升竞争力获得市场先机，企业决策者们选择将目光投向更智能、更高效的AI平台能力的建设及其应用。 AI平台—数字化转型的关键 企业的数字化转型起于“数据”，落于“场景”，AI技术的作用是通过“数据分析及洞悉信息背后的价值”加速和优化这一进程，而AI平台作为技术的载体能让这一进程更加敏捷、易于使用可视、可自主操作。 从美国回国创办DataCanvas九章云极的方磊和尚明栋专注AI平台已有7年，成为国内最早一批自动化数据科学平台供应商。他们研发的DataCanvas自动化数据科学平台目前已经服务金融、通信、交通、制造、零售等行业中数百家企业及政府单位。 早在清华大学、弗吉尼亚理工和美国微软研究院专注数据科学研究和应用时，方磊先生即看到AI平台的大片蓝海。他敏锐洞察到，未来企业立足行业的制胜关键不是数据储备，而是自身数据分析及驾驭信息价值的能力。因此

编者按 由于篇幅原因，本文仅精选该书第八章中具有跨时代意义的发现、巨作或事件进行介绍，强烈推荐感兴趣的朋友自行阅读英文原版，也欢迎大家在评论区指正、补充。 文章作者：留德华叫兽 责任编辑：疑疑 文章发表于 微信公众号【运筹OR帷幄】： 报道 | 运筹学发展简史之1979-2004 欢迎原链接转发，转载请私信 @运筹OR帷幄 获取信息，盗版必究。 敬请关注和扩散本专栏及同名公众号，会邀请 全球知名学者 发布运筹学、人工智能中优化理论等相关干货、 知乎Live 及行业动态 更多精彩文章，欢迎访问我们的机构号： @运筹OR帷幄 前言 首先向大家隆重介绍一本书： An Annotated Timeline of Operations Research - An Informal History | Saul I. Gass 此书是我在准备德国博士答辩general exam借相关教材时，偶然发现的“宝贝”，接着就不务正业地泡了一下午浏览了运筹学的发展史。 本书的目录按照年代，分为八个章节： 1.运筹学（OR）的前身：1564-1873 2.运筹学的前身：1881-1935 3.运筹学的诞生：1936-1946 4.运筹学的扩张：1947-1950 5.运筹学中数学、算法的发展：1951-1956 6.运筹学中国际活动、算法、应用、教科书发展：1957-1963 7.运筹学中方法、应用