神经网络

最近用笔记本跑Keras和TensorFlow深度学习代码，一个模型跑十几个小时还奔溃，真的头大！这篇文章简单讲解易学智能GPU搭建Keras环境的过程，并实现了LSTM文本分类的实验，本来想写Google Colab免费云，但看知乎评价也不太好（梯子常断网、时间限制、数据量小）。因此，选择一个评价较好的平台供大家学习（6块一小时），也希望大家推荐更好的平台，百度飞浆后续准备也学习下，希望这篇文章能解决自身电脑配置不足，需要GPU运行模型且服务器价格又不是太高的同学，加油！ 如果个人电脑足够使用的同学，则可以看看这篇文章的LSTM文本分类代码，下一篇文章我将详细对比。基础性文章，希望对您有所帮助。 本专栏主要结合作者之前的博客、AI经验和相关视频及论文介绍，后面随着深入会讲解更多的Python人工智能案例及应用。基础性文章，希望对您有所帮助，如果文章中存在错误或不足之处，还请海涵~作者作为人工智能的菜鸟，希望大家能与我在这一笔一划的博客中成长起来。写了这么多年博客，尝试第一个付费专栏，但更多博客尤其基础性文章，还是会继续免费分享，但该专栏也会用心撰写，望对得起读者，共勉！ Keras下载地址： https://github.com/eastmountyxz/AI-for-Keras TensorFlow下载地址： https://github.com/eastmountyxz/AI

深度学习调参有哪些技巧？ 编辑：Amusi | 来源：知乎 https://www.zhihu.com/question/25097993 目录 一、为什么要学习调参？ 二、调参技巧 1. 评价指标： 2. 损失函数： 3. 激活函数选择： 4. 学习率设定： 5. 优化器选择： 6. batch_size 7. 防止过拟合： 8. 残差块与BN层： 9. 数据预处理【对输入】 10.参数随机初始化【对参数】 11.自动调参方法： 12. 过程、结果可视化 13. 关于卷积神经网络的技巧 三、心态类： 深度学习的效果很大程度上取决于参数调节的好坏，那么怎么才能最快最好的调到合适的参数呢？求解 一、为什么要学习调参？ 相信很多刚开始接触深度学习朋友，会感觉深度学习调参就像玄学一般，有时候参数调的好，模型会快速收敛，参数没调好，可能迭代几次loss值就直接变成Nan了。 记得刚开始研究深度学习时，做过两个小例子。 一个是用tensorflow构建了一个十分简单的只有一个输入层和一个softmax输出层的Mnist手写识别网络，第一次我对权重矩阵W和偏置b采用的是正态分布初始化，一共迭代了20个epoch，当迭代完第一个epoch时，预测的准确度只有10%左右（和随机猜一样，Mnist是一个十分类问题），当迭代完二十个epoch，精度也仅仅达到了60%的样子

双十一，囤点什么书呢?小编想了想，新书？经典书？畅销书？感觉似乎每一类都值得推荐 。每一年出版社的专业新书上百本，如何在适宜的时间选您需要的好书？双十一就是一个很好的时间选择。让小编带你浏览本年度最值得推荐的双十一好书。 经典书必备（思维修炼必备） 1、编程珠玑（第2版） 本书是计算机科学方面的经典名著。书的内容围绕程序设计人员面对的一系列实际问题展开。作者Jon Bentley 以其独有的洞察力和创造力，引导读者理解这些问题并学会解决方法，而这些正是程序员实际编程生涯中至关重要的。本书的特色是通过一些精心设计的有趣而又颇具指导意义的程序，对实用程序设计技巧及基本设计原则进行了透彻而睿智的描述，为复杂的编程问题提供了清晰而完备的解决思路。本书对各个层次的程序员都具有很高的阅读价值。 2、数学之美 第三版 这是一本备受推崇的经典科普作品，被众多机构推荐为数学学科的敲门砖，是信息领域大学生的必读好书。 数学既是对于自然界事实的总结和归纳，又是抽象思考的结果。在《数学之美》里，吴军博士集中阐述了他对数学和信息处理这些专业学科的理解，把数学在IT领域，特别是语音识别、自然语言处理和信息搜索等方面的美丽之处予以了精彩表达，这些都是智能时代的热门技术话题。 本书还用了大量篇幅介绍各个领域的典故，是文科生也可以看懂的科普读物。成为一个领域的大师有其偶然性，但更有其必然性

Noise2Noise: Learning Image Restoration without Clean Data Noise2Noise: Learning Image Restoration without Clean Data 故事背景 算法原理 点估计 神经网络算法与点估计的关系 核心思想 回头品味 实验 高斯 其他生成噪声 发表在2018 ICML。 摘要 ： We apply basic statistical reasoning to signal reconstruction by machine learning – learning to map corrupted observations to clean signals – with a simple and powerful conclusion: it is possible to learn to restore images by only looking at corrupted examples, at performance at and sometimes exceeding training using clean data, without explicit image priors or likelihood models of the corruption . In

来源：人工智能AI技术 本文 约3400字 ，建议阅读 7 分钟 本文介绍我们被NeurIPS 2020会议录用的一篇文章。 本文主要介绍我们被NeurIPS 2020会议录用的一篇文章：Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification。 论文： https://arxiv.org/abs/2010.05300 代码和预训练模型已经在Github上面放出： https://github.com/blackfeather-wang/GFNet-Pytorch 这项工作提出了一个通用于 绝大多数CNN 的自适应推理框架，其效果比较明显，在同等精度的条件下， 将MobileNetV3的平均推理速度加快了30%，将ResNet/DenseNet加速了3倍以上，且在iPhone XS Max上的实际测速和理论结果高度吻合。 此外，它的计算开销可以简单地 动态在线调整，无需额外训练。 （太长不看版）下面一张图可以概括我们做的事情：将图像识别建模为序列决策过程，先将缩略图输入神经网络（Glance），再不断选择最关键的图像区域进行处理（Focus，利用强化学习实现），直至网络产生一个足够可信的预测结果时停止；对于简单和困难的样本分配不同的计算资源，以提升整体效率。

如何理解归一化（Normalization）对于神经网络（深度学习）的帮助？ 作者：知乎用户 链接：https://www.zhihu.com/question/326034346/answer/730051338 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 回顾一下围绕normalization的一些工作（由最新到最旧的BatchNorm）： 2019， Weight Standardization （没有发表，但是有大佬Alan Yuille加持） Weight Standardization 2019 WS叫权重标准化，建立在 BN可以平滑损失landscape / BN可以平滑激活值 这个观点上，进一步提升GN的效果匹配到BN的水平上，针对GN在micro-batch训练时性能不及BN。WS的原理是： 减小损失和梯度的Lipschitz常数 。 2019， Dynamic Normalization Differentiable Dynamic Normalization for Learning Deep Representation ICML 2019 跟SN类似，加入了GN。 2019， Switchable Normalization Differentiable Learning-to-Normalize via

今天第二篇（最近更新的都是Deep模型，传统的线性模型会后面找个时间更新的哈）。本篇介绍华为的DeepFM模型 (2017年)，此模型在 Wide&Deep 的基础上进行改进，成功解决了一些问题，具体的话下面一起来看下吧。 原文：Deepfm: a factorization-machine based neural network for ctr prediction 地址： http://www.ijcai.org/proceedings/2017/0239.pdf 1、问题由来 1.1、背景 CTR 预估 数据特点： 输入中包含类别型和连续型数据。类别型数据需要 one-hot, 连续型数据可以先离散化再 one-hot，也可以直接保留原值。 维度非常高。 数据非常稀疏。 特征按照 Field 分组。 CTR 预估 重点 在于 学习组合特征。注意，组合特征包括二阶、三阶甚至更高阶的，阶数越高越复杂，越不容易学习。Google 的论文研究得出结论：高阶和低阶的组合特征都非常重要，同时学习到这两种组合特征的性能要比只考虑其中一种的性能要好。 那么关键问题转化成：如何高效的提取这些组合特征。一种办法就是引入领域知识人工进行特征工程。这样做的弊端是高阶组合特征非常难提取，会耗费极大的人力。而且，有些组合特征是隐藏在数据中的，即使是专家也不一定能提取出来，比如著名的“尿布与啤酒”问题。

今天上午，又一 AI 偏门应用爆出！用算法直接“脱掉”女性的衣服！ 图片来自包图网 看来之前的换脸技术已经无法满足部分人的需求了，又有人想出更加让人震惊的，已经不能叫做是擦边球的应用了。 DeepNude 这款名为 DeepNude 的应用，据说只需要给它一张女性照片，App 即可借助神经网络技术，自动“脱掉”女性身上的衣服，暴露出裸体。对于使用者来说，无需任何技术知识，一键即可获取裸体照片。 目前 DeepNude 的官网已经上线，不仅有 50 美元的付费版，甚至还推出了免费版。 相关可下载的 Windows 和 Linux 应用正在推出，使用免费版图片会出现水印，付费版则会在图片左上角加上“Fake“标注。 而处理效果如何呢，美国媒体 Motherboard 用几十张照片测试，发现如果输入《体育画报泳装特辑》的照片，得到的裸体照片最为逼真。 但这一技术还有缺点，多数照片（尤其是低分辨率照片）经过 DeepNude 处理后，得出的图像会有人工痕迹；而输入卡通人物照片，得出的图像是完全扭曲的。 也就是说，通过这款应用，你可以获取到任何一位女性的“裸体照片”。即便这只是神经网络伪造出来的，但是肉眼看来却十分真实。 并且在此情况下，网络上的所谓「FAKE」水印，也很容易去掉，这项技术一旦广泛使用，将会造成比之前色情换脸技术更大的危害。 技术原理 DeepNude 相当于之前换脸

加入AI行业拿到高薪仅仅是职业生涯的开始。 现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的 。 几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。 如果现在一个 面试官 让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。 目前AI人才竞争越来越激烈， “调参侠” 的时代已慢慢过去，这些事情其实根本不需要AI工程师来做，未来的研发工程师就可以承担这些了！ 我相信不少人曾经遇到过以下的情况或者困惑： 从事AI行业多年，但技术上 总感觉不够深入 ， 而且很难再有提升； 对每个技术点了解，但 不具备体系化的认知 ， 无法把它们串起来； 停留在使用模型/工具上 ， 很难基于业务场景来提出新的模型； 对于机器学习 背后的优化理论、前沿的技术不够深入； 计划从事尖端的科研、研究工作、 申请AI领域研究生、博士生； 打算进入最顶尖的AI公司 比如Google，Facebook，Amazon，

点击上方“蓝字”带你去看小星星 引言 近日，南大周志华等人首次提出使用 深度森林 方法解决多标签学习任务。该方法在 9 个基准数据集、6 个多标签度量指标上实现了最优性能。 而深度森林是基于 决策树 构建的深度集成模型，因此对于想了解深度森林以及对这个方法本身感兴趣的同学需要对决策树有一个了解。 在这一讲中，你将会： 1、认识决策树； 2、大体了解决策树是如何训练的； 3、学会sklearn中决策树使用方法。 什么是决策树 如果我们在意模型的 可解释性 ，那么决策树(decision tree)分类器绝对是上佳的选择。如同名字的字面意思，我们可以把决策树理解为基于一系列问题对数据做出的分割选择。 举一个简单的例子，我们使用决策树决定去不去见相亲对象 这就是决策树，每一层我们都提出一个问题，根据问题的回答来走向不同的子树，最终到达叶子节点时，做出决策（去还是不去）。 再比如我们可以用一个决策树来判断一个西瓜好瓜还是坏瓜： 在上面的两个例子中，方框子树为 特征 ，比如是“美不美”或者“触感”； 而分支的条件为特征下的 数据 ，比如西瓜例子中触感：硬滑或者软粘。 虽然上图中做出的每个决策都是根据离散变量，但也可以用于连续型变量，比如，对于Iris中sepal width这一取值为实数的特征，我们可以问“sepal width是否大于2.8cm 当一颗决策树的节点以及判断条件都被确定的时候