深度学习

构建对象检测模型

只愿长相守 提交于 2020-08-04 10:04:19
作者|ALAKH SETHI 编译|VK 来源|Analytics Vidhya 目标检测 我喜欢深度学习。坦率地说,这是一个有大量技术和框架可供倾注和学习的广阔领域。当我看到现实世界中的应用程序,如面部识别和板球跟踪等时,建立深度学习和计算机视觉模型的真正兴奋就来了。 我最喜欢的计算机视觉和深入学习的概念之一是目标检测。建立一个模型的能力,可以通过图像,告诉我什么样的物体存在! 当人类看到一幅图像时,我们在几秒钟内就能识别出感兴趣的物体。机器不是这样的。因此,目标检测是一个在图像中定位目标实例的计算机视觉问题。 好消息是,对象检测应用程序比以往任何时候都更容易开发。目前的方法侧重于端到端的管道,这大大提高了性能,也有助于开发实时用例。 目录 一种通用的目标检测框架 什么是API?为什么我们需要一个API? TensorFlow对象检测API 一种通用的目标检测框架 通常,我们在构建对象检测框架时遵循三个步骤: 首先,使用深度学习模型或算法在图像中生成一组的边界框(即对象定位) 接下来,为每个边界框提取视觉特征。它们将根据视觉特征进行评估,并确定框中是否存在以及存在哪些对象 在最后的后处理步骤中,重叠的框合并为一个边界框(即非最大抑制) 就这样,你已经准备好了你的第一个目标检测框架! 什么是API?为什么我们需要一个API? API代表应用程序编程接口

今15年创业,享受改变的过程

一世执手 提交于 2020-08-04 10:01:15
今15年创业,享受改变的过程(新书已上架开卖) 我的新书《 编程之法 》已经上架京东、当当、亚马逊等各大网店,均已有现货销售。 1 年初开始创业 挺有意思。自去年11月写完LDA主题模型后,至今竟悄无声息的已过去大半年。其中,最主要的原因就是:今年年初正式开始了创业。 2 发布在线教育网站 很快,1月27日,我们上线了自己的在线教育网站:七月在线 http://www.julyedu.com/ 。目前专注5类 在线 课程:面试、算法、机器学习、深度学习、数据挖掘,由程、曹、周、寒等博士/BAT一线工程师授课。周末在线直播、平时集中答疑、视频反复观看。且团队最为重视内容质量,倾尽全力,不断优化。 3月31日,我们的网站 julyedu.com 上线视频功能,毫无疑问,同样只做精品视频。 更新 :截止到2018年6月4日公司三周年之际,讲师团队已超过60人,均由国内外顶级高校博士 + BAT一线技术经理,开设的课程包括:数学/算法/ml/dl/dm/spark/nlp/cv等等。一直在不断强大讲师团队、不断提高课程质量、不断服务更多人、帮助更多人。 网站截图如下: https://www.julyedu.com/ 3 七月在线科技 今年6月11日,首次对外公布公司的名字:七月在线科技,在微博上说的比较含蓄,在QQ空间则说得直截了当:我们就是要改变世界。 与此同时,6月份~7月初

如何从零起步学习AI

守給你的承諾、 提交于 2020-08-04 09:44:45
数据科学家的成长之路兼学习路线:如何学习ML/DL 前言 我从2012年一直以一个业余研究者的身份开始学习机器学习,参考了诸多资料写了篇SVM模型的学习笔记。在一直想继续写但每每错不开时间的反复纠结中,于14年年底终于腾出时间,又开始写最大熵、adaboost、聚类、贝叶斯、LDA等模型的学习笔记。当然,很多很多的知识点和模型,还是了解的太浅,所以能有机会就继续学习。 2015年年初正式创业,我们坚信好的内容依托于在线这个形式,一定可以让千千万万的人从中受益,践行我这几年来始终不变的唯一理想:创造价值 助千万人 领导行业 推动文明。所幸虽然15年全年一年磕磕绊绊,但最终还是所有问题都一一解决了。当然了,原本就没有达不成的目标、没有解决不了的问题、没有沟通不好的事情。然创业之累唯亲身经历创业之人才能真切体会,15年全年,基本没啥时间更新博客,除了终于把拖延了近3年之久的新书《编程之法:面试和算法心得》给出版了。我爱这本书,不管咋样 我付出了心血 对一些人起了帮助、对一些人有用。 2016年,创业第二年。如在那篇CNN笔记中所写的那样:“我虽不参与讲任何课程,然由于公司在不断开机器学习、深度学习等相关的在线课程,耳濡目染中,总会顺带着学习学习。”于是以一个学员之一的角度开始重写技术博客,谁叫我就是能“用最最小白的方式 把一些初看复杂的东西抽丝剥茧的通俗写出来”呢?写完CNN笔记之后

字节跳动算法岗一面面经(算法工程师-飞书岗位)

孤者浪人 提交于 2020-08-04 09:43:06
1、首先来段自我介绍 因为博主本人是传统工科(仪器类),但是研究方向和机器学习和深度学习相关,所以多介绍了一些发表论文和正在做项目,自我介绍的内容要突出优势,和面试岗位相关的详细展开说一些。 2、和一个外行人介绍一下机器学习 我是从有无监督展开说的(半监督也提到一点),通过有无监督提到了分类和聚类的方法和区别,结合了自己的课题。 3、介绍一下为什么CNN可以进行物体的分类(面向对象为初学者) 之前看过一个知乎的文章分享给大家: https://zhuanlan.zhihu.com/p/31249821 写的十分通俗易懂,可以按照这个做介绍 4、说一下机器学习,神经网络、深度学习之间的关系 因为如果从大的方面去介绍的话,无从下手,所以我用了时间段做了梳理,总结了一下之间的相关性。 5、实现过代码吗?创建环境时遇见了哪些问题? 我从自己写的论文作为依据,说了一下自己论文中对卷积神经网络做的改进,然后介绍了一下创建环境的过程,遇见的问题提到了cpu不够用,用了虚拟机,构造了虚拟内存。 6、虚拟内存的原理 不会(笑),我实现了,但是原理没留意。 7、学过SQL吗?统计一下抖音用户的一天内使用此APP的时间? 学过,但是没实现过这个功能(使用APP的时间从苹果的设置里面就能看了),做过活跃用户的统计。 8、用SQL实现一周内活跃用户的统计 9、学过数据结构吧?知道栈吗? 10

没GPU也能玩梵高作画:Ubuntu tensorflow CPU版

 ̄綄美尐妖づ 提交于 2020-08-04 09:12:49
没GPU也能玩梵高作画:Ubuntu tensorflow CPU版 作者:七月在线开发/市场团队骁哲、李伟、July 时间:二零一六年九月二十七日 交流:TensorFlow实战交流Q群 472899334,有问题可以加此群共同交流。另探究实验背后原理,请参看: 深度学习在线班 。 一、前言 9月22号,我们开发/市场团队的两同事利用DL学梵高作画,安装cuda 8.0趟遍无数坑,很多朋友求避坑。因此,3天后的9月25日,便把教程《 教你从头到尾利用DL学梵高作画:GTX 1070 cuda 8.0 tensorflow gpu版 》公布出去。但令人尴尬的是,不少同学没有GTX 1070、甚至没有一块像样的GPU。 对于在北京的朋友,我们可以提供1070机器免费给大家实验,但对于更多不在北京的朋友呢?为了让 每一个人都能玩一把 ,特此发布本tensorflow作画的CPU版教程。你会看到,搭建过程相比较GPU版本而言简单太多太多了,但缺点是没有了GPU,计算过程非常熬人,i7-6700大约1.5h(要知道,如果搭好GPU,最后计算过程就几分钟的事)。 但不管咋样,之前你说没有GTX 1070所以没去动手,那现在有个CPU就能跑了,不受硬件条件限制,何不现在就动手试一把?希望更多朋友与我们一起玩更多有趣、好玩的实验。 二、安装 2.1、安装tensorflow Windows 下

深度学习笔记

牧云@^-^@ 提交于 2020-07-29 11:31:37
第一讲 深度学习概述 1.1 深度学习的引出 特点: 通过 组合低层特征 ,形成了更加抽象的 高层特征 。 表达式中的 u,w参数需要在训练中通过 反向传播多次迭代调整 ,使得整体的 分类误差最小 。 深度学习网络往往 包含多个中间层(隐藏层) ,且网络结构要更复杂一些。 1.2 数据集及其拆分 Iris(鸢尾花)数据集 分类特征:花萼和花瓣的宽度和长度 数据集在数学上通常表示为 $\{(x_1,y_1),(x_2,y_2),...,(x_i,y_i),...,(x_m,y_m)\}​$ 其中 $x_i$ 为样本特征。由于样本(即一行)一般有多个特征,因而 $x_i = \{x_i^1, x_i^2,..., x_i^n\} ​$ 而 $y_i$ 表示 样本i 的 类别标签 。 类别标签的ground truth 与 gold standard ground truth :翻译为地面实况。机器学习领域一般用于表示 真实值、标准答案 等,表示 通过 直接观察收集到 的真实结果。 gold standard :金标准,医学上一般指诊断疾病 公认的最可靠的方法 。 机器学习领域更倾向于使用ground truth,如果用gold standard则表示可以很好地代表ground truth。 1.21 数据集与有监督学习 有监督学习中数据通常分成 训练集 、 测试集 两部分。 训练集(

人大副教授:本科生一定要做科研吗?九大灵魂拷问

社会主义新天地 提交于 2020-07-29 10:55:31
     作者:赵鑫中国人民大学副教授 原标题:计算机系本科生开展科研学习的九问九答    学术如苦旅,我亦是行人。   写这篇文章的初衷,是与本科生的接触过程中看到了一些对于科研的困惑或者误区,所以想大概介绍一下本科生的科研之路第一脚该从哪里走起。所以本篇文章的定位不是侧重学术性,也不会侧重于教育性,而是一些个人经验的分享。   由于是个人的经验,希望大家带着批判的角度去读,但是兼听则明,很愿意和各位本科生做进一步的交流。全文写的比较口语,尽量不包含学术名词。   话不多说,下面我开始自问自答。 1. 本科阶段一定要科研吗?   我自己大概是在大三下学期真正开始接触科研。大三上学期之前,如果不是学有余力,不建议太早开展科研,除非已经有了较强的动手能力。本科生教学的核心目标,不是以培养能够发表A类论文的同学为最终目标。我始终也不认为,一位同学如果本科阶段能够发A类论文就意味着绝对的强、绝对的适合做科研。相反,我强烈建议大一大二的同学一定把课程学好。本科的课程体系非常丰富,而研究生逐渐聚焦。要利用好本科的时间打好基础,多看看计算机的大千世界。特别推荐每门计算机课程都尽量阅读一本国外经典教材;特别建议打好数据结构与算法的基础,尝试一些ACM或者相似性质的竞赛;特别推荐加强数学基础的学习,很多理论性的学习所带来的收益要用很长时间才能发现。   如果大一大二已经将基础打好

1.5有哪些文本表示模型?它们各有什么优缺点?

谁说我不能喝 提交于 2020-07-29 09:53:01
05 文本表示模型 场景描述 文本是一类非常重要的非结构化数据,如何表示文本数据一直是机器学习领 域的一个重要研究方向。 知识点 词袋模型(Bag of Words),TF-IDF(Term Frequency-Inverse Document Frequency),主题模型(Topic Model),词嵌入模型(Word Embedding) 问题 有哪些文本表示模型?它们各有什么优缺点? 分析与解答 ■ 词袋模型和N-gram模型 最基础的文本表示模型是词袋模型。顾名思义,就是将每篇文章看成一袋子 词,并忽略每个词出现的顺序。具体地说,就是将整段文本以词为单位切分开, 然后每篇文章可以表示成一个长向量,向量中的每一维代表一个单词,而该维对 应的权重则反映了这个词在原文章中的重要程度。常用TF-IDF来计算权重,公式 为 TF-IDF(t,d)=TF(t,d)×IDF(t) ,(1.5) 其中TF(t,d)为单词t在文档d中出现的频率,IDF(t)是逆文档频率,用来衡量单词t对 表达语义所起的重要性,表示为: (1.6) 直观的解释是,如果一个单词在非常多的文章里面都出现,那么它可能是一个比 较通用的词汇,对于区分某篇文章特殊语义的贡献较小,因此对权重做一定惩 罚。 将文章进行单词级别的划分有时候并不是一种好的做法,比如英文中的natural language

互动场景下的低延迟编码技术

六眼飞鱼酱① 提交于 2020-07-29 08:59:00
本文由上海交通大学教授宋利在LiveVideoStackCon2020线上峰会的演讲内容整理而成,从分析视频传输系统延迟入手,分析视频编码延迟的产生机制,总结优化编码延迟的技术手段和业界典型的低延迟编码方案,讨论不同场景的延迟要求,并对后续技术演进发展方向进行展望。 文 / 宋利 整理 / LiveVideoStack 本次分享的主题是互动场景下的低延迟编码技术,内容分为四个方面:一是互动媒体服务;二是低延迟视频编码技术;三是低延迟编码方案;四是应用场景和发展趋势。 互动媒体服务 1.1 视频媒体形态 如图所示,我们将现有典型的视频相关服务按照高通量、强交互两个维度进行划分,其中横坐标表示高通量,纵坐标表示强交互,一些典型的视频映射到图中分布于不同的位置。 左下角部分可以称为基本视频,它涵盖了当前的一些主流应用,包括TV、视频监控、视频会议以及多人视频游戏等,其特点是以二维视频为主,同时交互形式包括单项、双项和多人交互。 如果从这个区域往外扩展,外面一层是可以称之为增强视频,沿高通量维度由高清向超高清、自由视、点云、光场过渡,交互维度包括仿真训练、电竞,两者都演进的方向是VR、AR,最后演进到全触感,也就是视频媒体形态正在由基本视频向增强视频演进,这两个维度某种程度和现在5G中两个维度很契合,高通量对应大带宽,强交互对应低延迟。 这张图显示了流媒体视频的典型服务场景

AI 芯片从未成功过?

风流意气都作罢 提交于 2020-07-29 07:59:55
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 技术研发关卡 “无芯片不 AI”。最近几年,业界萦绕着对摩尔定律失效的担忧。后摩尔定律时代,AI 芯片的崛起被寄予厚望。 AI 芯片一度站上了风口,热度空前,与此同时,挑战尤存。现阶段的 AI 芯片处在发展早期,尚有诸多技术痛点待攻克。 在设计、研发上,一个最大的技术挑战在于如何跟得上 AI 算法的演进。芯片研发速度往往落后于 AI 语言的迭代速度,很多芯片做出来时,AI 算法已发生了较大的改变,甚至已过时了。因此在芯片设计时,预测未来的前沿算法趋势十分重要。 架构创新能力也是核心竞争力之一。摆在设计和研发前的第一个大难题就是解决架构问题,要具备适应所有应用的架构。正确的架构取决于对 AI 的理解,一些专家芯片设计能力很强,但对 AI 的计算或应用特点理解不深入,一些 AI 算法科学家在底层知识上有所欠缺。AI 芯片的核心要点在于对整个 AI 算法、硬件能力有宏观认知,及对未来发展趋势有精准预判,具备这一综合能力难度不小。去年初,图灵奖得主 John L .Hennessy 和 DavidA. Patterson 曾在二人的合著论文中预判,未来十年,计算机架构将迎来新的黄金时代。 投入成本高企、进入门槛高、周期长、回报率低是整个 AI 芯片产业“头顶”的几座大山