深度学习

一.迁移学习的概念 什么是迁移学习呢？迁移学习可以由下面的这张图来表示： 这张图最左边表示了迁移学习也就是把已经训练好的模型和权重直接纳入到新的数据集当中进行训练，但是我们只改变之前模型的分类器（全连接层和softmax/sigmoid），这样就可以节省训练的时间的到一个新训练的模型了！ 但是为什么可以这么做呢？ 二.为什么可以使用迁移学习? 一般在图像分类的问题当中，卷积神经网络最前面的层用于识别图像最基本的特征，比如物体的轮廓，颜色，纹理等等，而后面的层才是提取图像抽象特征的关键，因此最好的办法是我们只需要保留卷积神经网络当中底层的权重，对顶层和新的分类器进行训练即可。那么在图像分类问题当中，我们如何使用迁移学习呢？一般使用迁移学习，也就是预训练神经网络的步骤如下; 1.冻结预训练网络的卷积层权重 2.置换旧的全连接层，换上新的全连接层和分类器 3.解冻部分顶部的卷积层，保留底部卷积神经网络的权重 4.同时对卷积层和全连接层的顶层进行联合训练，得到新的网络权重 既然我们知道了迁移学习的基本特点，何不试试看呢？ 三.迁移学习的代码实现 我们使用迁移学习的方法来进行猫狗图像的分类识别，猫猫的图像在我的文件夹里如下图所示： 然后导包： import tensorflow as tf from tensorflow import keras import matplotlib

要说最近抖音最火的效果是什么，无疑就是上周推出的漫画效果，这里本人来对该效果进行一些技术分析。 首先，我们先看一下效果展示： 这个效果可谓非常惊艳，真切的将真人照片转换为了漫画风格，而且支持多人处理，也是因此，一时间刷遍了抖音和朋友圈，周末两天的使用量达到了20亿次以上。 对于抖音的漫画效果，包括两个版本，一个是实时处理版本，也就是抖音上线的第一个版本，如图Fig.1所示，可以实时展示漫画效果；另一个是后来的图片版本，如图Fig.2所示，这个版本更加精细；该功能目前同步上线字节跳动旗下的一些app，比如：抖音/剪映/FaceU等。 下面，我们针对这个动漫效果来做一些技术分析，帮助大家了解一下背后的技术秘密。 本人以实时版本为例，经过分析和测试，对该效果做了如下几点总结： 实时版本中，漫画并非全图处理，而是基于人脸矩形框区域进行动漫处理； 人脸之外的背景区域非漫画效果，而是做了一些类似漫画的滤镜处理； 整体漫画分辨率不高； 不同的人脸，漫画人脸风格始终保持一致； 本人多年来一直从事人像特效相关工作，这里，我们先了解一下漫画风格的特点，这里总结如下： 1，线条化，漫画风格的边缘比较突出，主要表现为线条感强烈； 2，颜色单一，一种漫画风格往往使用的颜色数比较少，不会像真实照片中那样包含那么多颜色数，往往只有几种颜色搭配，比如新海诚效果，如图Fig.3所示； 3，人脸五官简单、夸张

通俗理解卷积神经网络（cs231n与5月dl班课程笔记） 1 前言 2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。 本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时间抽不开。然由于公司在不断开机器学习、深度学习等相关的在线课程，耳濡目染中，总会顺带着学习学习。 我虽不参与讲任何课程（我所在公司“ 七月在线 ”的所有在线课程都是由目前讲师团队的100多位讲师讲），但依然可以用最最小白的方式 把一些初看复杂的东西抽丝剥茧的通俗写出来。这算重写技术博客的价值所在。 在dl中，有一个很重要的概念，就是卷积神经网络CNN，基本是入门dl必须搞懂的东西。本文基本根据斯坦福的机器学习公开课、cs231n、与七月在线寒小阳讲的5月 dl班 所写，是一篇课程笔记。 一开始本文只是想重点讲下CNN中的卷积操作具体是怎么计算怎么操作的，但后面不断补充，包括增加不少自己的理解，故写成了关于卷积神经网络的通俗导论性的文章。有何问题，欢迎不吝指正。 2 人工神经网络 2.1 神经元

教你从头到尾利用DL学梵高作画 作者：七月在线开发/市场团队中的三人，骁哲、李伟、July。本教程主要由骁哲撰写，李伟负责Linux命令部分。 时间：二零一六年九月二十五日 配置：GTX 1070 cuda 8.0 Ubuntu 14.04 cudnn 5.1 tensorflow gpu 交流：TensorFlow实战交流Q群 472899334，有问题可以加此群共同交流。另探究实验背后原理，请参看我们的深度学习在线课程： 深度学习在线班 。 一、前言 12年本博客推出SVM三层境界，14年July团队开始做机器学习线下班，也因此写了一系列ML博客。15年，July团队正式创业，开始做 七月在线 —— 国内领先的人工智能教育平台，最初涵盖算法、机器学习、深度学习三大重心。16年，七月在线从上半年的5个课程扩展到下半年的30个课程，讲师团队也从上半年的5人扩大至现有的19人（且到18年上半年，讲师团队已超过60人）。 与此同时，机器学习越来越火，且随着计算机计算能力的提高深度学习则更趋火热。公司在做深度学习的课程时，开发/市场同事也会顺带着学习学习，但从始至终都尚未跟着课程上的实验实际动手做过。 直到最近，我们团队人手渐渐齐了之后，发现可以动手做一些实验了。为何呢？学一个东西，懂它理论之后，最重要的是付诸实践，动手实验一把，不然永远只是纸上谈兵。 我们三虽然都不讲课

主讲嘉宾： 东北大学研究生，主要研究物体六自由度位姿估计，机械臂抓取。 主要内容： 机械臂抓取技术简介与入门方法 【3D视觉工坊】第一期公开课：机械臂抓取技术简介与入门方法 课件获取：在公众号「3D视觉工坊」，后台回复「第一期分享」，即可获得本场直播的课件。 来源： oschina 链接： https://my.oschina.net/u/4385759/blog/4464051

函数是一个太大的题目。我们仅选择几个和程序员直接相关的点来说一下： 函数图象 其实，我们在初中就已经开始学习了函数了。还记得我们当时学过哪些函数吗？ 多项式函数 一次函数 二次函数 …… 反比例函数 指数函数 对数函数 三角函数 …… 还记得它们的图像吗？（下图是一些例子） 给定函数画出其对应的图像——这一点非常重要！ 在对函数求导数或者微分的过程中，如果能够知道原函数的图像，对照图像去理解各点的导数、微分、梯度等概念，比纯粹靠函数式理解要直观得多。 比如：深度学习中常见的激活函数，为什么要有那么多种呢？因为各自的性质不同，因此用处也不同啊。 为什么性质不同呢？先不用计算，看看它们的图象，往往就能有些体会了： 函数的定义 中学期间我们学了那么那么多函数，总体上感觉，函数就是：一个数学式子，里面有 x x ，最后等于一个 y y 。 但其实，这只是函数的一种表现形式。 真正的 函数定义 是：在数学里，函数是两个集合之间的一个映射，或者说是一种对应关系——输入值集合中的每个元素都能对应到唯一的一个输出值集合中的元素（反之未必）。 用图形描述起来，是这样的： 一个函数就好像一个黑盒，或者一部机器，我们把输入值当作原料倒进去，经过内部的一番映射过程，就会产生出输出值来。 我们习惯性地用 x x 表示输入值，而用 y y 来代表输出值，而把这个“机器”把 x x “加工”成 y y

视频学习 机器学习的数学基础 特征向量形象化的描述： 对一个矩阵施加线性变换后，使矩阵发生尺度变化而不改变方向。 秩形象化的描述： 秩序，复杂度，一个数据分布很容易被捕捉，则秩小，很难被捕捉，则秩大。 数据降维： 只保留前R个较大奇异值及其对应的特征向量（较大奇异值包含了矩阵的主要信息）。 低秩近似 ：保留决定数据分布的最主要的模式/方向（丢弃的可能是噪声或其他不关键的信息）。 概率/函数形式的统一： 问题补充： 逐层训练时，在训练下一层时，会冻结上一层的参数。 逐层预训练初始化参数是为了更好的初始化，使其落到比较好的区域里面。 策略设计：训练误差->泛化误差 免费午餐定理： 奥卡姆剃刀原理： “如无必要，勿增实体”， 即“简单有效原理”。如果多种模型能够同等程度地符合一个问题的观测结果，应选择其中使用假设最少的->最简单的模型。 欠拟合和过拟合的解决办法： 频率学派VS贝叶斯学派： 频率学派VS机器学习方法： 卷积神经网络基本组成结构 卷积神经网络的应用： 分类、检索、检测、分割人脸识别、人脸验证、人脸表情识别、图像生成图像风格转换、自动驾驶。 传统神经网络VS卷积神经网络： ​ 深度学习的三部曲： ​ 1.搭建神经网络结构 ​ 2.找到一个合适的损失函数 ​ 3.找到一个合适的优化函数，更新参数 ​ 损失函数： ​ 全连接网络处理图像的问题：参数太多：权重矩阵的参数太多-

点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 本文来自6月份出版的新书 《 OpenCV深度学习应用与性能优化实践 》 ，作者团队也是OpenCV DNN 模块的主要贡献者，是国内唯一的系统介绍OpenCV DNN 推理模块原理和实践的书，文末有福利， 留言赠书 1 本 。 OpenCV 是业界使用最为广泛的计算机视觉库，随着深度学习在计算机视觉领域的广泛应用，OpenCV 自3.3开始加入对深度学习推理的支持，即OpenCV DNN模块。 它支持TensorFlow、Caffe、Torch、DarkNet、ONNX 和 OpenVINO 格式的网络模型，开发者无需考虑模型格式的差异，直接调用DNN模块相关接口即可快速创建深度学习应用。 OpenVINO是英特尔推出的视觉推理加速工具包。OpenCV 3.4.1版本加入了英特尔推理引擎后端（英特尔推理引擎是OpenVINO中的一个组件），为英特尔平台的模型推理进行加速。 本文将以MobileNet-SSD模型为例，展示如何使用OpenCV和OpenVINO快速创建深度学习应用。 在深入代码之前，让我们了解一下OpenVINO工具包以及OpenCV是如何跟OpenVINO交互的。 OpenVINO工具包 2018 年 5 月 Intel 发布了 OpenVINO（Open Visual Inferencing

前言 这学期几乎全是硬核的算法/程序课，为了督促自己认真学习，我将每周写一篇周记。周记模板前一周保留，当周每日更新当日笔记。如有整段文字代码适合另起blog，也将链接标在周记对应的日期下。 课程： 算法设计与分析 、数字图像处理、 程序设计实习 、 游戏AI中的算法 、视觉计算与深度学习、人工智能引论及实践课（NLP）、Python程序设计与数据挖掘导论、 大数据分析中的算法 2019.2.18 课程： 大数据分析中的算法 、 算法设计与分析 、 游戏AI中的算法 日记： 大数据似乎默认我们已经有相当的机器学习相关数学知识，应当尽快补上 吴恩达的机器学习课程 。 算分看上去不是太难，虽然数算我学的是B，但应该没有太大问题，一边上算分一遍补 数算A慕课 吧。 游戏AI第一节课涉及极大极小，alpha-beta剪枝，蒙特卡罗，看样子是默认我们知道这些内容的，今天就要补上。 算法设计与分析课程内容 alpha-beta剪枝 http://web.cs.ucla.edu/~rosen/161/notes/alphabeta.html 这篇文章非常详细易懂！ 如何学习蒙特卡罗树搜索（MCTS） https://zhuanlan.zhihu.com/p/30458774 大概看懂了MCTS的原理，代码没撸。 2019.2.19 课程： 大数据分析中的算法 日记： 今天早上浪费时间写公众号

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 7月20日，寒武纪正式登陆科创板，市值超过千亿元。寒武纪在业界可谓大名鼎鼎，自出生起，寒武纪就是一家明星公司。寒武纪天使轮融资时就估值5亿元，此后3年时间完成了5轮融资，总金额46亿元。 寒武纪备受关注除了国人对国产芯片的期待之外，另一大原因是其主打的“AI芯片”正是当下的风口。今天，市场上，智能手机、智能云计算、智慧+……不绝于耳，恨不得什么东西都得带上“智能”、“智慧”两个字，而支撑“智能”、“智慧”的背后就是各种人工智能芯片。 实际上，人工智能成为了当下芯片产业的一大动力。此前在英特尔面前只能称小弟的英伟达因为AI行业的火爆，带动了GPU热销而一飞冲天，如今市值超过了行业老大英特尔。 深感压力的英特尔在GPU上失了先手如今正在紧紧追赶，加紧研发独立GPU，同时，英特尔还在不断优化CPU和改进以提升CPU在AI场景的适用性，比如在指令集中加入AI专用指令。其最新推出的第三代服务器芯片至强中最大亮点之一就是体现在AI方面，作为首款具有内置bfloat16（BF16）支持的主流服务器处理器，至强能进一步增强其深度学习优化能力。 AI市场火爆的行情还推动了专用AI芯片的研发，这也是寒武纪背后关注的一大原因。在国际市场上，谷歌近期对外透露了最新一代TPU芯片（第四代TPU