深度学习

AI 前线导读 ：随着技术、算力的发展，在 ImageNet 上训练 ResNet-50 的速度被不断刷新。2018 年 7 月，腾讯机智机器学习平台团队在 ImageNet 数据集上仅用 6.6 分钟就训练好 ResNet-50，创造了 AI 训练世界纪录；一周前，壕无人性的索尼用 2176 块 V100 GPU 将这一纪录缩短到了 224 秒；如今，这一纪录再次被谷歌刷新…… 深度学习非常依赖于硬件条件，它是一个计算密集型的任务。硬件供应商通过在大型计算集群中部署更快的加速器来做出更快的相应。在 petaFLOPS（运算能力单位，每秒千万亿次浮点数运算）规模的设备上训练深度学习模型需要同时面临算法和系统软件两方面的挑战。Google 于近日推出了一种大规模计算集群的图像分类人物训练解决方案，相关论文发表于 Arxiv： Image Classification at Supercomputer Scale 。本文的作者使用 Google TPU v3 Pod 训练 ResNet-50，在识别率没有降低的情况下，仅使用了 2.2 分钟的时间。 背景 深度神经网络的成功应用与发展离不开疯狂增长的算力，在许多领域，深度学习的发展可以说是由硬件驱动的。在深度网络的训练过程中，最关键的部分就是使用随机梯度下降算法（SGD）优化网络权重。通常情况下，模型需要使用 SGD

NVIDIA Tesla系列GPU适用于高性能计算（HPC）、深度学习等超大规模数据计算，Tesla系列GPU能够处理解析PB级的数据，速度比使用传统CPU快几个数量级，NVIDIA Tesla GPU系列P4、T4、P40以及V100是Tesla GPU系列的明星产品，云服务器吧分享NVIDIA Tesla GPU系列P4、T4、P40以及V100参数性能对比： NVIDIA Tesla GPU系列P4、T4、P40以及V100 NVIDIA Tesla系列GPUP4、T4、P40以及V100性能规格参数对比表， 阿里云GPU云服务器 提供的实例GN4（Nvidia M40）、GN5（Nvidia P100）、GN5i（Nvidia P4）及GN6（Nvidia V100），也会基于NVIDIA Tesla GPU系列。 云服务器吧 Tesla T4：世界领先的推理加速器 Tesla V100：通用数据中心 GPU 适用于超高效、外扩型服务器的 Tesla P4 适用于推理吞吐量服务器的 Tesla P40 单精度性能 (FP32) 8.1 TFLOPS 14 TFLOPS (PCIe) 15.7 teraflops (SXM2) 5.5 TFLOPS 12 TFLOPS 半精度性能 (FP16) 65 TFLOPS 112 TFLOPS (PCIe)125 TFLOPS

自从 2015 年阿里提出 “中台” 战略后，“中台”便成为一个行业热词，许多公司纷纷推出了自己的中台架构。一方面中台架构似乎代表了一种新兴趋势，另一方面中台似乎又面临着定义不清、概念混杂的问题。 中台是一种切实的业务、数据架构，还是一个混杂的概念？中台可以实际解决哪些问题、提升哪些业务效率？本篇就来着重梳理一下。 中台的架构是什么 中台一词，是由 “前台”、“后台” 产生而来。 传统架构中先有了 “前台” 与“后台”。后台负责管理企业的核心资源，如财务系统、产品系统、客户管理系统、基础设施和计算平台等，前台则是最终用户直接使用、与企业交互的前端系统，如网站、手机 App 等。但前台、后台间往往各司其职，无法形成有效衔接，带来业务配合效率、数据质量等问题。 中台的设置，就是为了有效连接前台和后台的一种平台化形态，以强调资源整合与共享、能力沉淀，为“前台” 提供业务模式、技术、数据、人才等支撑。具体来说，中台的架构主要可划分为业务中台、数据中台、技术中台等。 2015 年，阿里巴巴率先提出了中台战略概念，并提出 “小前台，大中台” 的管理模式，将搜索事业部、共享业务平台、数据技术及产品部提出来组成了“共享业务事业部”（Shared Services Platform），沟通前端的业务部门和后端的云平台。 主要 AI 中台厂商及其场景落地 近年来，腾讯

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 最近一系列围绕AI进行的调查、研究、预测和其他定量评估突显了目前全球企业采用AI的状态、深度学习的未来前景、以及消费者对于疫情期间追踪接触者相关隐私问题的态度。 数据的生命，人工智能的动力 74%的澳大利亚受访者、81%的德国受访者、84%的美国受访者表示，他们担心疫情期间进行的数据收集会泄露他们太多的隐私信息;86%的美国受访者表示，他们担心这些数据被用于疫情之外的目的，81%的受访者担心数据会被用于定向广告投放;78%的美国受访者认为，Apple、Fitbit或Amazon这样的消费级硬件企业不会追踪他们的生物特征数据;75%的受访者认为，Netflix和Hulu等流媒体服务不会收集他们在在线媒体上的消费信息; 59%的法国受访者、52%的英国受访者和49%的美国受访者认为，社交媒体企业不会追踪他们的帖子内容;37%的受访者表示，即使得到经济上的补偿，他们也不愿把数据共享给企业;27%的受访者不确定是否值得牺牲个人数据;消费者担心政府会追踪消费者数据，包括74%的德国受访者、73%的荷兰受访者、70%的美国受访者;消费者不愿意与执法机构共享他们的数据，只有22%的德国受访者和24%的美国受访者愿意这么做。23%的美国受访者认为，政府会收集他们的离线对话数据。

​ TensorFlow™是一个基于数据流编程（dataflow programming）的符号数学系统，被广泛应用于各类机器学习（machine learning）算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。 TensorFlow由谷歌人工智能团队谷歌大脑（Google Brain）开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口（Application Programming Interface, API）。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码 。 今天这一份书单，将来介绍几本关于TensorFlow的优质书籍。 TensorFlow系列书单 ​ 走向TensorFlow 2.0：深度学习应用编程快速入门 本书探讨了开源机器学习软件库TensorFlow 2.0的诸多应用实践，内容涵盖各种热门的应用场景，包括图像识别、自然语言对话机器人、基于生成网络的图片风格迁移、文本情感分析等。

前言 PyTorch 是一个基于Torch框架的开源Python机器学习库，用于NLP,CV等深度学习应用。它的开发人员是 Facebookd的人工智能小组，它不仅可以利用GPU加速，同时还实现了动态神经网络，这点和现在流行的主流框架如TensorFlow不同。 PyTorch同时还有两个高级功能： 张量计算（如Numpy） 和自动求导。 除了Facebook之外，Twitter、GMU和Salesforce等机构也都采用了PyTorch。 TensorFlow和Caffe都是命令式的静态编程语言，，首先必须构建一个神经网络，在训练过程中结构不会发生变化，如果想要改 变网络的结构，就必须从头开始。但是对于PyTorch，通过 反向求导技术，可以让你任意实时改变神经网络。这一灵活 是PyTorch对比TensorFlow的最大优势。 另外，PyTorch的代码对比TensorFlow而言，更加简洁直观，底层代码也更容易看懂，这对于使用 它并且计划理解底层得人是一件特别棒的事情。 所以，总结一下PyTorch的优点： 支持调用GPU进行运算 ， 支持动态神经网络 ， 底层代码易于理解 ， 自定义扩展 当然，一枚硬币有两面，PyTorch也不例外，对比TensorFlow，其在功能全面性上差强人意，目前，PyTorch还不支持快速傅里叶、沿维翻转张量和检查无穷与非数值张量；针对移动 端

一、背景及现状 近些年，国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛，对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程，即通过采集设备实地采集后对采集资料进行人工处理的模式，其数据更新慢、加工成本高等问题矛盾日益突显。 高德地图凭借视觉AI和大数据技术优势引领地图数据产业变革，通过图像AI技术从采集资料中直接识别提取各类数据要素，为实现机器代替人的作业模式提供最坚实的技术基础。 高德地图通过对现实世界高频高密度的数据采集，运用图像视觉AI能力，在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置，再通过与历史资料信息的对比，能快速发现现实世界的变化信息，同时结合强大而专业的数据融合能力，实现100%信息融入，从而构建出高现势性的全国基础地图。 综上，通过算法、地图工程的深度技术合作，以及与资料采集、数据生产的业务拉通，搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线，从而建立起从真实世界到地图应用终端，高效高质量的数据信息流水线生产通道。 二、自动化产线的可行性及重点 从图像物体分类和检测进展来看，图像物体的分类和检测已经有几十年的历史，涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及GPU计算能力的发展

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 整理：公众号@深度学习专栏 本文仅做学术分享，如有侵权，请联系删除。 因为大家都知道的原因，在国内从github上面下载代码的速度峰值通常都是20kB/s。这种速度对于那些小项目还好，而对于大一些的并且带有很多子模块的项目来讲就跟耽误时间。而常见的的方法无非就是修改HOST或者挂VPN，实际用起来并不稳定。 这里提供一种新的方法，下载速度可以达到 1~2MB/s 1. 利用开源中国提供的代码仓库 标题已经说的很清楚了，我想对于经常使用git的人来讲，很可能已经知道了。对于新手刚接触git的人来讲，可能你只知道github。 实际上，国内也有很多代码仓库提供方，国外也不只github。只不过国内也是刚刚开始，关注的人不多。 开源中国提供的代码仓库提供了一个功能，就是它可以将github账号中的代码 clone 到开源中国的账户中去。这个代码仓库叫做 码云 ，没错就是码云?。 要求你有一个github账户，一个码云gitee账户。 步骤很简单 1.将github上面你想要搞下来的项目首先 frok 到你自己的github的账户中去。耗时:一瞬间 2.登录gitee，没有的自行注册。网页中有添加项目的按钮，一个加号。点击加号，下拉列表里面有 迁移github项目 的选项，点开后按照提示关联自己的github账号

最近，社交媒体上疯传一张表情包（如下图）。随着深度学习的炒作开始消退，看到这张图的人将会心一笑。“机器学习真的没什么好让人兴奋的”或者“它只是对古老统计学的改进”这类情绪越来越普遍。但问题是，这不是真的。 我知道，成为热情过度、沉迷于炒作的深度学习布道师可不是件时髦的事。那些2013年还把深度学习奉为神祗的机器学习专家，现在提到这个词时只是带着一丝懊恼，他们现在更倾向于对现代神经网络进行轻描淡写，以免人们仍然认为 import keras 可以解决一切问题，并认为他们在竞争中仍有拥有巨大的优势。 正如Yann LeCun所说的那样，深度学习作为一个流行词确有被夸大之嫌，但这种态度的转变导致了人们对人工智能的进步、未来和作用产生了不正常的怀疑。目前，关于人工智能寒冬即将到来的言论甚嚣尘上，人们预计，人工智能研究将停滞多年，就像在过去几十年中所发生的那样。 谈论人工智能寒冬将至的文章和传言AGI将迎来爆发的文章一样多。 然而，这篇文章的目的不是为了反驳AI寒冬将来的观点，也不是为了比较某个学术团体比另一个对深度学习具有更深刻的见解。相反，我是想要说明真实的情况，这一领域的发展已经超出了大型计算机和更好数据集的范畴，机器学习（以及最近在深度神经网络方面取得的成功及相关成果）代表了世界技术进步的最前沿。 机器学习!=统计学 “说到融资，人工智能。说到招聘，机器学习。说到应用，逻辑回归。”

【说在前面】本人博客新手一枚，象牙塔的老白，职业场的小白。以下内容仅为个人见解，欢迎批评指正，不喜勿喷！[握手][握手] 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（一）：元学习、小样本学习 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（二）：生成对抗网络 GAN 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（三）：迁移学习 一、知识蒸馏综述 知识蒸馏被广泛的用于模型压缩和迁移学习当中。 本文主要参考：模型压缩中知识蒸馏技术原理及其发展现状和展望 1. 基本概念 知识蒸馏可以将一个网络的知识转移到另一个网络，两个网络可以是同构或者异构。做法是先训练一个teacher网络，然后使用这个teacher网络的输出和数据的真实标签去训练student网络。 可以用来将网络从大网络转化成一个小网络，并保留接近于大网络的性能。 可以将多个网络的学到的知识转移到一个网络中，使得单个网络的性能接近emsemble的结果。 2. 知识蒸馏的主要算法 知识蒸馏是对模型的能力进行迁移，根据迁移的方法不同可以简单分为基于目标驱动的算法、基于特征匹配的算法两个大的方向。 2.1 知识蒸馏基本框架 Hinton最早在文章“Distilling the knowledge in a