深度学习

背景 深度学习模型如何服务化是一个机器学习领域工程方面的热点，现在业内一个比较主流的做法是将模型和模型的服务环境做成docker image。这样做的一个好处是屏蔽了模型对环境的依赖，因为深度学习模型在服务的时候可能对各种框架版本和依赖库有要求，解决运行环境问题一直是个令人头痛的事情。 将模型通过docker服务化后意味着深度学习模型可以在各种环境使用，比如云端直接通过k8s调度拉起，或者在一些IOT领域，比方说一些智能摄像头也可以通过拉起镜像服务的方式使用模型。 看来一些网上的资料，发现大部分资料没有讲得很清楚如何容器化部署TF模型，今天把我自己的学习笔记分享下。 详细流程 模型部署分4步，首先要准备一个TensorFlow模型，还要准备一个docker环境，接着构建自己的docker服务，然后发送请求给docker服务做测试。 1.准备TensorFlow模型 可以直接clone这个项目： https://github.com/tensorflow/serving 然后找到以下这个路径下的叫“saved_model_half_plus_two_cpu”这个模型，这个模型比较简单，就是将预测数据除以2再加2。举个例子，假设预测数据是5，那么预测结果是5/2+2=4.5 /tensorflow_serving/servables/tensorflow/testdata/saved

转自： https://zhuanlan.zhihu.com/p/53264756 大家好！又到了每周一狗熊会的深度学习时间了。在上一讲中，小编给大家介绍了经典的 seq2seq，以及著名的注意力模型，并且小编在这些理论的基础上给出一个基于seq2seq和注意力模型的机器翻译实例。本讲小编将和大家继续将目光放宽，对广义的自然语言处理应用领域之一的语音识别进行一次简单而又相对完整技术综述。 1 概述 自动语音识别（Automatic Speech Recognition，ASR），也可以简称为语音识别。说新领域也有点夸张，因为语音识别可以作为一种广义的自然语言处理技术，是用于人与人、人与机器进行更顺畅的交流的技术。语音识别目前已使用在生活的各个方面：手机端的语音识别技术，比如苹果的 siri；智能音箱助手，比如阿里的天猫精灵，还有诸如科大讯飞一系列的智能语音产品等等。 为了能够更加清晰的定义语音识别的任务，我们先来看一下语音识别的输入和输出都是什么。大家都知道，声音从本质是一种波，也就是声波，这种波可以作为一种信号来进行处理，所以语音识别的输入实际上就是一段随时间播放的信号序列，而输出则是一段文本序列。 图1 语音识别的输入与输出 将语音片段输入转化为文本输出的过程就是语音识别。一个完整的语音识别系统通常包括信息处理和特征提取、声学模型、语言模型和解码搜索四个模块

近日，清华大学大数据研究中心机器学习研究部开源了一个高效、简洁的迁移学习算法库 Transfer-Learn，并发布了第一个子库——深度领域自适应算法库（DALIB）。 机器之心报道，编辑：魔王，作者：清华大学大数据研究中心。 清华大学大数据研究中心机器学习研究部长期致力于迁移学习研究。近日，该课题部开源了一个基于 PyTorch 实现的高效简洁迁移学习算法库：Transfer-Learn。使用该库，可以轻松开发新算法，或使用现有算法。 项目地址： https:// github.com/thuml/Transf er-Learning-Library 目前，该项目发布了第一个子库——领域自适应算法库（DALIB），其支持的算法包括： Domain Adversarial Neural Network (DANN) Deep Adaptation Network (DAN) Joint Adaptation Network (JAN) Conditional Domain Adversarial Network (CDAN) Maximum Classifier Discrepancy (MCD) Margin Disparity Discrepancy (MDD) 领域自适应背景介绍 目前，深度学习模型在一部分计算机视觉、自然语言处理任务中超越了人类的表现

今天对目前人脸美型这一块技术做个总结，跟大家分享一下！图玩智能科技为企业提供更稳定更优质的美颜产品及服务，欢迎随时咨询 www.toivan.com 。 目前提到美颜算法，大家都会想到磨皮美白 /大眼瘦脸，实际上做好 美颜这件事情，关乎的不仅仅是这些，还有五官的协调比例等，今天我们主要说一下五官的微调，这里我直接称之为人脸编辑吧。 人脸编辑主要包含如下内容： 1，肤色调节 2，磨皮处理 3，眼睛大小 4，人脸胖瘦 5，鼻翼大小 6，眼睛间距大小 7，嘴巴大小 8，亮眼 9，祛眼袋 10，唇彩 11，腮红 12，脸型 13，发色 14，美白牙齿 关于肤色调节，磨皮处理，关于腮红，唇彩等美妆效果， 在之前专门做过讲解。 下面，我们主要讲解一下五官的微调变形： 最常见的大眼瘦脸，这个算法有很多种方法： ①局部调整算法： 采用液化的方式进行大眼小眼处理， ②采用Imagewarp算法，该算法主要基于人脸点位，结合变形算法，如MLS变形，TPS变形等，对眼睛区域和人脸区域进行变形处理， ③基于深度学习的妆容迁移算法 这三种方法代表了三种不同的思路，大家可以好好理解一下， 本人基于②的思维，使用全局点位变形的方法，实现了如下几个功能： 3，眼睛大小 4，人脸胖瘦 5，鼻翼大小 6，眼睛间距大小 7，嘴巴大小 主要原理： 计算微调后的点位，然后根据变形算法构建原点位到微调后点位的MAP映射关系

深入学习中最具争议的话题之一是如何解释和理解一个经过训练的模型——特别是在医疗等高风险行业的背景下。“黑匣子”一词经常与深度学习算法联系在一起。如果我们不能解释模型是如何工作的，我们怎么能相信模型的结果呢？这是个合理的问题。 以一个为检测癌症而训练的深度学习模型为例。这个模型告诉你，它99%确定它已经检测到癌症，但它并没有告诉你为什么或者如何做出这个决定。 在核磁共振扫描中找到了重要线索吗？或者只是扫描上的污点被错误地检测为肿瘤？这是病人生死攸关的问题，医生犯了大错后果很严重。 在本文中，我们将探讨如何可视化卷积神经网络（CNN），这是一种深入学习的体系结构，特别用于最先进的基于图像的应用程序。我们将了解可视化CNN模型的重要性，以及可视化它们的方法。我们还将看一个用例，它将帮助你更好地理解这个概念。 CNN模型可视化的重要性 正如我们在上面的癌症肿瘤例子中所看到的，我们知道我们的模型在做什么，以及它如何对预测做出决定，这是绝对重要的。 下面列出的原因是一个深度学习实践者要记住的最重要的一点： 了解模型的工作原理 超参数调整 找出模型的失败之处并能够解决失败 向消费者/最终用户或业务主管解释决策 让我们看一个例子，在这个例子中，可视化一个神经网络模型有助于理解模型一些不好的行为和提高性能。 下面的例子来自： http://intelligence.org/files

介绍 市面上出现很多新颖的相机，它们使用计算成像的方法将原始传感器数据合成新图像。例如：深度照相机和高动态范围照相机。传统的照相机系统使用单个传感器，镜头和光照装置来创建二维图像。然而可计算成像的照相机能提供多种光学元件，多种可编程光照模式以及多个传感器，从而使新的应用（如三维深度感知和图像的光照重置）成为可能。这些应用可充分利用深度信息将图像作为纹理映射到深度图上，以引入新的光源，并在图形处理流程中重新呈现该图像。由于可计算相机刚出现在消费设备上，这将成为计算机视觉的最前沿，因此下面将介绍一些常用的方法。 计算成像概述 计算成像是指将原始图像数据合成新的图片。一个可计算相机能控制可编程闪光模式投影仪，透明阵列和多个图像传感器，也可以利用原始数据合成新的图像。如果想深入了解计算成像和相关研究进展，那么可以参考哥伦比亚大学的CAVE计算成像视觉实验室和Rochester成像技术研究所，了解相关研究工作。 下节介绍一些常用的方法和应用。 来源： oschina 链接： https://my.oschina.net/u/4331414/blog/4474141

【摘要】 本文通过三篇发表在CVPR 2019上的论文，对增量学习任务进行简单的介绍和总结。在此基础上，以个人的思考为基础，对这一研究领域的未来趋势进行预测。 一、背景介绍 目前，在满足一定条件的情况下，深度学习算法在图像分类任务上的精度已经能够达到人类的水平，甚至有时已经能够超过人类的识别精度。但是要达到这样的性能，通常需要使用大量的数据和计算资源来训练深度学习模型，并且目前主流的图像分类模型对于训练过程中没见过的类别，识别的时候完全无能为力。一种比较简单粗暴的解决方法是：对于当前模型识别不了的类别，收集大量的新数据，并和原来用于训练模型的数据合并到一起，对模型进行重新训练。但是以下的一些因素限制了这种做法在实际中的应用： 当存储资源有限，不足以保存全部数据的时候，模型的识别精度无法保证； 重新训练模型需要消耗大量的算力，会耗费大量的时间，同时也会付出大量的经济成本（如电费、服务器租用费等）。 为了解决这些问题，使得增加模型可识别的类别数量更容易一些，近年来学术界中出现了一些针对深度学习的“增量式学习”算法。这类算法有三点主要的假设： 不同类别的数据是分批次提供给算法模型进行学习的，如下图所示； 系统的存储空间有限，至多只能保存一部分历史数据，无法保存全部历史数据，这一点比较适用于手机、PC机等应用场景； 在每次提供的数据中，新类别的数据量比较充足。

https://www.maixj.net/ict/float16-32-64-19912 float16/32/64对神经网络计算的影响 神经网络的计算，或者说深度学习的计算，全都是浮点数。浮点数的类型分16/32/64（128位的不再考虑范围内，numpy和python最大只到float64），选择哪一种浮点数类型，对神经网络的计算有不同的影响。以下是近期的学习总结： （1）目前业界深度学习的标准是 BF16，一种16位的浮点数 ，据说Google的TPU已经支持，未来Intel的芯片也会支持； （2）我们在一般计算上的， 通过numpy得到的16位浮点数，是FP16，不是BF16 ； FP16是IEEE754-2008的标准 ；这两个标准，在能够表示的数值的范围上有区别； （3）对于内存的影响：float64占用的内存是float32的两倍，是float16的4倍；比如对于CIFAR10数据集，如果采用float64来表示，需要60000*32*32*3*8/1024**3=1.4G，光把数据集调入内存就需要1.4G；如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；占用内存的多少，会对系统运行效率有严重影响；（因此数据集文件都是采用uint8来存在数据，保持文件最小） （4）采用numpy的float16，即FP16，来计算深度学习

本文首发自公众号： RAIS ，点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。本文我们聊一聊深度学习中的正则化。 深度学习中的正则化 一般来说，深度学习所要做的事情是用已有的训练集训练一个网络模型，然后针对新的数据给出预测，我们期望我们的模型在训练集和测试集上都有良好的表现，但是有的时候两者不可兼得。一种情况是在训练集上表现很好，在测试集上表现不好或表现一般；另一种情况是在训练集上表现不好或表现一般，在测试集上表现很好。相比较而言我们更倾向于后者，因为这是我们训练模型的目的。 为什么会出现这种情况，难道不是应该训练集上表现的越好在测试集上表现越好吗？不是的，我们在前面的文章中分析过，过度的拟合一个训练集往往会放大哪些没有那么重要的向量或因素，过拟合会导致泛化能力的下降，正则化就是为了减小测试误差的，虽然有的时候可能会以增大训练误差为代价，但是这是值得的，这些策略统称为正则化。下面给出一个简单的非严谨的正则化定义： 正则化：减小泛化误差而不是训练误差所做的对算法的修改 我们经常会对估计进行正则化，估计的正则化采取的方式是以偏差的增大来换取方差的减小，尤其是显著的减小方差而较小的增大偏差往往是我们追求的目标。接下来我们就分别分析介绍一下正则化的策略。 正则化的策略 参数范数惩罚 $$ \widetilde{J}(θ; X, y

机器之心报道 参与：蛋酱、泽南 美国 CS 专业超过 64% 博士生和近 70% 的硕士生是留学生，数学博士学位有一半授予了非美国公民，中国和印度学生占大部分。 上个星期，一位华人留学生题为「亚洲人数学能力其实很差？」的视频登上了热搜。 「知其然而不知所以然，他们仅仅擅长使用而不追求真理。」这名女生认为大多数亚洲人学习数学时注重运用却不关心原理推导，论据有一定的道理，不过结论引发了不少人的吐槽。 很快，博主「他们都叫我雪姨」新发布了一个视频向大家道歉，表示个人经历不能指代群体，有关亚洲人数学很差的言论十分不正确。在应试教育为主，升学压力很大的国内，如果说学生们花费如此大的精力却不能把一门学科学明白，确实非常可怕，数学是当代高等教育最重要的基础是有目共睹的。 7 月份，2020阿里巴巴全球数学竞赛结束，活动创办者马云如此评价数学的重要性。 有趣的是，在数学水平太差这件事上，大洋彼岸的美国人和我们有着同样的担忧。在亚洲人数学很差的视频在国内流行的同时，美国《国家利益杂志》刊载了一篇文章给出了完全相反的观点：因为中国人数学好，在人工智能领域里中国正在逐渐成为决定性力量。 这篇报道在开篇即提到：「忘记人工智能本身吧，它只是一个数学问题。美国没有培养出足够擅长数学的公民，因此无法保持统治地位。」 以下为美国《国家利益杂志》报道的主要内容： 海外第一次注意到中国人工智能技术的非凡能力可能是在