深度学习

本文转载自：哈工大讯飞联合实验室 原文链接： https://mp.weixin.qq.com/s/0cMM2MHUhsn0MKZGIMhyVw ​ mp.weixin.qq.com 注：文末附交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 近日，ACL 2021大会官方发布了第二次征稿通知。距离ACL 2021的摘要截稿还有1周的时间，距离全文截稿还有2周的时间。HFL编辑部针对本届ACL 2021投稿的重要内容进行了细致讲解，希望能够帮助正在准备ACL 2021论文的读者。 ACL 2021征稿通知： https:// 2021.aclweb.org/calls/p apers/ 最最重要的：两段式投稿 今年的ACL是两段式投稿方法，即先进行“摘要投稿”，然后再进行“全文投稿”。一定要注意的是， 这两个阶段都是必须参与的 ，不可以忽略“摘要投稿”。另外，长短文的投稿时间是一样的，也需要注意一下。 摘要投稿截止：2021年1月25日 23:59（北京时间：1月26日 19:59） 全文投稿截止：2021年2月1日 23:59（北京时间：2月2日 19:59） 注：官方时间是UTC-12时区，北京时间是UTC+8时区。 温馨提示：不要都等到最后时刻再提交，按往年情况来看，最后一刻很可能会非常非常卡，到时候有可能提交不上去。

文章来源: 智东i 编辑：智东西内参 8大技术优势，6个发展趋势，人脸识别已经深入到了生活的方方面面。 近年来， 随着人工智能、计算机视觉、大数据、云计算、芯片等技术的迅速发展，人脸识别技术取得了长足的进步并且在众多场景中得以成功应用并大规模商业化普及，为经济社会的发展以及人们日常生活带来便捷 。 就市场发展趋势而言， 人脸识别应用场景虽然渗透各个行业场景， 但市场规模增长趋势出现分化， 国内市场呈现从算法竞争到芯片全产业链激烈竞争的状态；就技术发展层面， 边缘端 SOC 芯片算力的提升使得人脸识别系统中的部分甚至全部算法可以运行在边缘设备上， 从而使云边结合已成为人脸识别产品和应用方案的发展趋势。 本期的智能内参，我们推荐全国信息技术标准化技术委员会的研究报告《2020 年人脸识别行业研究报告》，从技术特点、行业发展趋势和标准化现状三方面还原人脸识别技术的最新发展状况。 本期内参来源：全国信息技术标准化技术委员会 原标题： 《2020 年人脸识别行业研究报告》 作者：蒋慧 等 01 . 什么是人脸识别？ 人脸识别 ( Face Recognition) 是一种基于人的面部特征信息进行身份识别的生物特征识别技术 。近年来 ， 随着人工智能 、 计算机视觉 、 大数据 、 云计算 、 芯片等技术的迅速发展 ， 人脸识别技术取得了长足的进步并且在众多场景中得以成功应用 。

原文首发自我的博客： 构建个人知识体系(https://www.bmpi.dev/self/build-personal-knowledge-system/) 为何要构建个人知识体系 在这个倡导终身学习的时代，我们已经掌握的知识很快就因为技术变革而过期。所以经常学习不只是一种需要，而是一种必须。 之前我已经写过 人生游戏之路 与 如何快速学习一项新技能 两篇关于学习的文章。在这两篇文章中比较零散的阐述了关于“元学习”的概念，现在想想所谓的“元学习”不过是一套个人知识体系（或者自我提升系统）。我们每个人都具备一定的学习能力，在不自觉中掌握某种学习的套路，只是有的人掌握系统化的学习框架，能够横跨多个领域去持续学习。 学习是一种我们生来就具备的能力：我们可以在学校中学习，也可以在社会中学习；可以在书籍里学习，也可以在与人交流中学习；可以自学，也可以在游历中增长见识。 我们可以从获取信息通过学习内化成自己的知识，也可以进一步将多种知识转变为自己认知的提高，不断提高的认知加上阅历的提升，最终可能成为某种智慧。（本文只探讨从信息到知识这一环节。） 从信息到智慧的过程中，学习贯穿整个流程。构建个人知识体系的流程，在我看来就是一个 编排出适合自身的持续学习流程 ，它能帮助我在信息洪流中实现阶段性的人生目标。 构建个人知识体系流程 信息输入 每天都有大量的信息输入： 邮件订阅列表更新；

作者 | 蒋宝尚 编辑 | 陈大鑫 原文链接： 我，大学没毕业，在OpenAI搞AI，想教教你如何提升“研究品味” ​ mp.weixin.qq.com 在AI圈里有这么一个人，虽然大学没有毕业，但却做过谷歌大脑研究员，担任过OpenAI团队的领导人。他被人称作“怪胎”，也被人称作神童。 他的名字叫做Chris Olah。在众人眼里，他的成长树在一开始似乎长“歪”：18岁那一年，进入多伦多大学读本科，随后辍学开始研究计算机。他运气不错，在刚刚开始进行AI研究的时候，他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。 2013 年，图灵奖得主 Yoshua Bengio 曾邀请他去做自己的研究生，但Chris居然拒绝了Bengio的邀请，去谷歌大脑团队做了实习生，跟随Jeff Dean研究卷积神经网络、交互媒体相关的内容。 仍然是运气不错。2015年，在 Greg Corrado 的帮助下，他转为了谷歌的正式员工。在谷歌的那段日子，发过多篇论文，带过博士生，并和贾扬清、Ian Goodfellow等顶尖研究员一起合作过。 根据谷歌学术，其h指数甚至达到了19，总引用数达到了32616，远超拥有博士学位的研究者。其中，最高引用的一篇文章，TensorFlow: Large-scale machine learning on heterogeneous

自然语言处理方面的研究在近几年取得了惊人的进步，深度神经网络模型已经取代了许多传统的方法。但是，当前提出的许多自然语言处理模型并不能够反映文本的多样特征。因此，许多研究者认为应该开辟新的研究方法，特别是利用近几年较为流行的对抗样本生成和防御的相关研究方法。 使用对抗样本生成和防御的自然语言处理研究可以基本概括为以下三种：1. 用未察觉的扰动迷惑模型，并评价模型在这种情况下的表现；2. 有意的改变深度神经网络的输出；3. 检测深度神经网络是否过于敏感或过于稳定，并寻找防御攻击的方法。 Jia 和 Liang 首先考虑在深度神经网络中采用对抗样本生成（或者「对抗攻击」，两者皆可）方法完成文本处理相关任务。他们的研究在自然语言处理社区很快获得了研究方面的关注。 然而，由于图片和文本数据内在的不同，用于图像的对抗攻击方法无法直接应用与文本数据上。首先， 图像数据（例如像素值）是连续的，但文本数据是离散的 。其次， 仅仅对像素值进行微小的改变就可以造成图像数据的扰动，而且这种扰动是很难被人眼察觉的 。但是 对于文本的对抗攻击中，小的扰动很容易被察觉，但人类同样能「猜出」本来表达的意义 。因此 NLP 模型需要对可辨识的特征鲁棒，而不像视觉只需要对「不太重要」的特征鲁棒。 DeepWordBug 的深度网络攻击示例。选自 arXiv：1902.07285 与图像领域一样，有进攻就会有防御

DQN[1, 2] 是 Q-Learning 的一个扩展，可以归类为改进价值函数的参数化表示（使用神经网络来建模，而非简单的线性非线性表达），此外也更适用于“大”（或无穷）状态空间--相比与基于表格型方法，此外也简化了输入的表达形式（以 Atari game 为例）--使用连续 N 帧的 raw pixels 而非 handcrafted features（这里其实就是典型的深度学习套路了，宛如 CNN 在 ImagNet 上的屠榜）。 DQN 最早出现在 2013 年 [1]，也是我手写梯度传播的年份。 DQN[2] 使用如下方法更新模型参数: 这里分为两类模型参数 Target 和 Online ，下标 i 处理的不是很合理，因为它们是独立不同步更新的，准确的来说 Online 就是标准的深度学习梯度更新，而 Target 只做周期性的拷贝 的“更新”，这也是 Q-Learning 作为 off-policy 类方法的特点。 这里以 google/dopamine 里的 DQN CartPole-v0 为例，解释其核心代码，CartPole-v0 是一个平衡类的游戏，智能体需要根据环境的 Observation 作出对应的 Action，环境给予 Reward 和新的 Observation： 截图自 https://github.com/openai/gym/wiki

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 本期我们将一起来实现一个有趣的问题 -图像分割的算法。 本文的示例代码可以在以下链接中找到： https://github.com/kiteco/kite-python-blog-post-code/tree/master/image-segmentation 作为我们的例子，我们将对KESM显微镜获取的图像进行分割以获取其中的血管组织。 数据科学家和医学研究人员可以将这种方法作为模板，用于更加复杂的图像的数据集（如天文数据），甚至一些非图像数据集中。由于图像在计算机中表示为矩阵，我们有一个专门的排序数据集作为基础 。 在整个处理过程中，我们将使用 Python 包，以及OpenCV、scikit 图像等几种工具。除此之外，我们还将使用 numpy ，以确保内存中的值一致存储。 主要内容 去噪 为了消除噪声，我们使用简单的中位数滤波器来移除异常值，但也可以使用一些不同的噪声去除方法或伪影去除方法。这项工件由采集系统决定（显微镜技术），可能需要复杂的算法来恢复丢失的数据。工件通常分为两类： 1. 模糊或焦点外区域 2. 不平衡的前景和背景（使用直方图修改正确） 分割 对于本文，我们使用Otsu 的方法分割，使用中位数滤波器平滑图像后，然后验证结果。只要分段结果是二进制的

开源最前线（ID：OpenSourceTop） 猿妹整编 转载请注明来源作者 8月份GitHub上最热门的 开源项目排行已经出炉啦， 一起来看看上榜详情吧： 1 fastbook https://github.com/fastai/fastbook Star 8732 fast.ai的创始人、前Kaggle首席科学家Jeremy Howard教授在Github上开源的一本书籍，全书草稿已公布22章，通过这份它你将学到： 如何在计算机视觉、自然语言处理(NLP)、推荐系统、表格和时间序列数据分析中创建最先进的模型 如何使用全新的fastai v2库和PyTorch 深度学习的基础：什么是神经网络，它们是如何训练的，以及它们如何进行预测 为什么以及如何使用深度学习模型，以及如何使用这些知识来提高模型的准确性、速度和可靠性 如何将你的模型转换为实际的Web应用程序，以及在模型出错时如何调试模型。 最新的深度学习技术，尝试真正有意义的实践 如何阅读深度学习研究论文 如何实现深度学习算法从无到有 2 TDengine https://github.com/taosdata/TDengine Star 13038 TDengine是一个开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能

转载自 量子位 杨净 发自 凹非寺 量子位 报道 | 公众号 QbitAI 原文链接： 如何提高PyTorch“炼丹”速度？这位小哥总结了17种方法，可直接上手更改的那种 注：文末附【Pytorch】交流群，最近赶ACL，比较忙，很多同学加了没有回过期了，可以重新加一下，备注好的一定会回复，敬请谅解。 如何提升PyTorch“炼丹”速度？ 最近，有一位名叫Lorenz Kuhn的小哥，分享了他在炼丹过程中总结的 17种 投入最低、效果最好的提升训练速度的方法，而且基本上都可以直接在PyTorch中进行更改，无需引入额外的库。 不过需要注意的是，这些方法都是假设是在GPU上训练模型。 这一分享在Reddit上得到了 600 的热度。 接下来，我们便从 提速高低 开始，依次对这些方法来做介绍。 1、选择合适的学习率时间表。 选择的学习率时间表对收敛速度以及模型的泛化性能有很大影响。 Leslie Smith提出的周期性学习速率（CLR)以及 1cycle 策略可以令复杂模型的训练迅速完成。 比如在 cifar10 上训练 resnet-56 时，通过使用 1cycle，迭代次数可以减少10倍，得到与原论文相同的精度。 在最好的情况下，与传统的相比，这个时间表实现了大规模的提速。不过有一个缺点，它们引入了一些额外的超参数。 为什么这样做有效？一种可能的解释是

点击蓝色“ AI专栏 ”关注我 哟 选择“ 星标 ”，重磅干货，第一时间送达 这是站长第 31 期免费送丰富宝贵的干货资源与教程 本期绝对是 满满的干货 ！ 获取更多资源请关注 【AI专栏】 先上车pa 01 PART 五套深度学习算法教程！ 作为AI 初学者来说，最大的问题就是： 资料太多！！！看不完！！！ 不知道如何取舍！！！人的精力有限！！！ 因此，本次站长就为各位站友把 高效有用 的入门和进阶学习材料整理好了， 并限时无套路免费送给各位站友！！！ AI学习不仅仅在于模型掌握了多少，更多的在于你的算法分析和设计能力、工程实践能力、算法模型的优化能力。 5本享誉全球的AI好书和项目 免费 送给大家 ！！！ 机器学习基础 《机器学习基础》来了， 一书吃透机器学习！ 先总体来看，这本书分为17个章节： 从每一个章节的设置可以看出这份教材设置的非常细致，将机器学习中的基础概念拆分开来讲，想深入了解吃透深度学习的基础，按这个目录来学也是个不错的选择。 【AI专栏】 只做 干货！！！ 在这里没有任何套路！你只需要 长按下方二维码 回复【 2020 】 加站长微信即可立即获取 五套深度学习和算法学习教程和三套Python学习视频！！！ 现在关注他，还有机会添加他的个人微信号，进行一对一的交流，坑位有限(微信号有 5000 人的限制)，大家抓紧吧！ PyTorch官方教程中文版