深度学习

来源： oschina 链接： https://my.oschina.net/u/4267090/blog/4489998

　　机器之心原创 　　 作者：徐丹 　　在现代计算系统和人工智能技术加持下，传统病理学正转向数字化病理，AI 技术的加持极大解放了病理医疗资源，AI 病理未来规模可达数百亿人民币。 　　在此背景下，阿里云天池联合英特尔举办了「数字视觉」挑战赛，以赛事推动 AI 技术在产业中落地。 　　同时举办了「2020 阿里云天池数字病理视觉挑战赛和研讨会」。众多来自第三方病理诊断中心、学术界、产业界的数字病理行业专家出席了研讨。 　　在历时 3 个月的前期调研以及后期业内嘉宾充分讨论后，研讨会重磅发布了《数字病理诊断排行榜》，评选出了数字病理行业产业链各个环节的 Top 级企业。 　　 　　病理学被「现代医学之父」威廉 · 奥斯勒称为「医学之本」，其核心方法病理切片分析被医学界公认为癌症诊断的「金标准」。而实际医疗资源的短缺窘境极大程度地限制了病理诊断产业的发展。在我国，目前每个病理医生都超负荷地承担了 5-10 倍的常规工作量，误诊、漏诊在所难免。 　　随着现代计算系统和人工智能技术的引入，病理诊断正逐步升级为数字病理诊断，这项新技术不仅能够以迅速、标准化的方式处理医学影像，还能对可疑影像进行勾画、渲染，并以结构化的语言提出建议，在医院的诊断、数据储存和共享、科研、会议、教学，以及第三方诊断机构的病理会诊中逐渐崭露头角，潜力巨大。 　　可以说，数字病理产业已经成为解放更多医疗资源的关键突破口

人生没有固定的答案，但Chris Olah的道路，不一定适合所有人。 机器之心报道，参与：蛋酱、张倩。 假如你年纪轻轻，就有机会进入顶尖的 AI 公司，时常和业内大佬「谈笑风生」，你还会回到大学，努力通过所有考试，去获得一张本科文凭吗？ 人们都听说过很多辍学创业、一战成名的传奇故事，比尔盖茨、乔布斯、扎克伯格…… 一些没有完成大学学业的年轻人，最终在商业上都取得了巨大成功，这也曾让「大学无用论」等观点甚嚣尘上。 上大学还是不上大学，怎么选？ 18 岁辍学、22 岁进谷歌，有着类似经历的「神童」Chris Olah 在一篇博客里，写出了自己的心声。他认为，与其去问「上大学好不好」，还不如问自己：「是否有更具吸引力的事情等着我去做？」 Chris Olah 的生活经历和常人不同，在刚刚开始进行深度学习研究的时候，他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。2013 年，图灵奖得主 Yoshua Bengio 曾邀请他去 MILA，并设法让他在没有本科学位的情况下直接作为研究生完成学业，但最终 Chris Olah 拒绝了。在谷歌的时候，他是 Jeff Dean 的实习生。后来在 Greg Corrado 的帮助下，他转为了谷歌的正式员工。目前，他正担任 OpenAI 的研究科学家，也不过才 28 岁而已。 当然，这一切的发生有个前提：他获得了泰尔奖学金

作者：陈戊超（仲卓），阿里巴巴技术专家 深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域，此外还在向社会各个领域迅速渗透。 背景 当前，深度学习的应用越来越多样化，随之涌现出诸多优秀的计算框架。其中 TensorFlow，PyTorch，MXNeT 作为广泛使用的框架更是备受瞩目。在将深度学习应用于实际业务的过程中，往往需要结合数据处理相关的计算框架如：模型训练之前需要对训练数据进行加工生成训练样本，模型预测过程中需要对处理数据的一些指标进行监控等。在这样的情况下，数据处理和模型训练分别需要使用不同的计算引擎，增加了用户使用的难度。 本文将分享如何使用一套引擎搞定机器学习全流程的解决方案。先介绍一下典型的机器学习工作流程。如图所示，整个流程包含特征工程、模型训练、离线或者是在线预测等环节。 在此过程中，无论是特征工程、模型训练还是模型预测，中间都会产生日志。需要先用数据处理引擎比如 Flink 对这些日志进行分析，然后进入特征工程。再使用深度学习的计算引擎 TensorFlow 进行模型训练和模型预测。当模型训练好了以后再用 tensor serving 做在线的打分。 上述流程虽然可以跑通，但也存在一定的问题，比如： 同一个机器学习项目在做特征工程、模型训练、模型预测时需要用到 Flink 和

在CV方向得模型搭建中，我们常常需要对输入得图片进行数据增强，这将会减少模型对数据的过拟合从儿提升模型的性能。在实际工程中。如工业缺陷、医疗图像等场景，我们获得的数据毕竟有限，通过数据增强来提升模型的性能是非常有用的。此时只能够依靠图像增强的方法来建立训练所需要的数据集。 数据增强主要分为 监督的数据增强 和 无监督的数据增强 方法。其中有监督的数据增强又可以分为 单样本数据增强 和 多样本数据增强 方法，无监督的数据增强分为 生成新的数据 和 学习增强策略 两个方向。 这里我们介绍一种比较强大的数据增强工具，所有你能想到的增强方法都有—— imgaug 。 imgaug是用于机器学习实验中图像增强的库。它支持广泛的扩充技术，可以轻松地组合它们并以随机顺序或在多个CPU内核上执行它们，具有简单而强大的随机界面，不仅可以扩充图像，还可以扩充关键点/地标，边界框，热图和分段图。 imgaug安装命令： pip install imgaug 这里先介绍常用的数据增强方法，后续介绍如何在Tensorflow2中应用这些增强方法。 具体使用方法，如下： import cv2 import imgaug.augmenters as iaa seq = iaa.Sequential([ iaa.Fliplr(0.5), # horizontally flip 50% of the images

本文是王家林大咖清华大学新书《企业级AI技术内幕：深度学习框架开发+机器学习案例+Alluxio解密》第2.1章节的内容，清华大学出版社将于9月份出版新书。 目录 盘古人工智能框架引言 盘古人工智能框架 盘古人工智能框架代码实战 实现神经网络的节点结构 新书预发布 新书 前 言 盘古人工智能框架引言 2017年3月21日，王家林大咖在硅谷，利用三个月的时间，于2017年6月22日实现了盘古人工智能框架，在该框架中实现了基本的ANN（Artificial Neural Network）和CNN（Convolutional Neural Network），那时还没实现RNN（Recurrent neural Network），但是实现了另外两个特别重要的算法，一个是自动编码（AutoEncoders），还有一个是非监督学习玻尔兹曼机算法（Boltzmann_ Machines），二者都跟推荐系统相关。对于深度学习中的算法，神经网络算法是必须掌握的，CNN、RNN等都是基于神经网络算法延伸出来的，包括自动编码算法，也是基于神经网络的算法延伸出来的。自动编码算法、玻尔兹曼机算法在实际中可用于推荐系统，在Facebook、谷歌、亚马逊的各种应用场景都可以看见推荐系统的身影；深度学习在图片识别、声音识别中可能暂时不那么重要。从2017年6月开始，用了将近10个月的时间

配图来自Canva​ 互联网企业总是会反复经历业务极限场景，非常考验服务器的承压能力。爆点事件造成访问崩溃的事件早已屡见不鲜。 国内互联网圈仅在近几个月内就屡次发生“崩溃”事件。3月份在线课堂和办公很火，钉钉、企业微信等被曝多次崩溃，比如有用户反应上课到一半突然黑屏，钉钉还紧急找阿里云扩容了上万台服务器，以支撑随时可能到来的流量高峰；4月份董明珠在抖音首秀直播时，开局便遇到了技术问题，要么直播卡到没法看，要么直播没有声音，董明珠因此痛批了技术团队；5月份罗志祥的一篇头条文章让微博一度面临奔溃，文章无法加载或是加载卡顿，此前微博已被爆款热搜折磨多次，面对瞬时涌入了巨大流量，服务器几度宕机。 这些极限场景往往有远超于日常规模的数据和流量快速流通，因此对企业的服务器质量和能力是一次极限挑战。 互联网企业的“服务器之痛” 近日股市火爆，有不少券商集中向云服务商发出了扩容的迫切需求，以解决券商APP使用时数据延迟、交易卡顿等明显影响体验的问题。由此可见服务器能力在很大程度上决定了企业的业务能力。 互联网线上业务虽然都由数据组成，且数字化的信息在生产和流通上都已经非常便捷，但软件不能独立存在，它必须依附于硬件设备，因此服务器容量大小、处理能力高低往往决定了企业的运营效率和发展上限。尽管现在云服务在互联网领域的***率已经比较高，但是在面对很多用户瞬时大量涌入、集中下订单

摘要： 作为自然语言处理技术和知识图谱技术的交集，知识提取技术可以从文档（如招股书）中提取关键数据，为科技监管中面临的问题提供了有效的解决途径。本文分析了知识提取技术在现有监管业务中的应用，并列示了在监管大数据平台、大数据分析、舆情监测等方面的可能应用。然而，监管知识提取也面临着格式复杂、冷启动等挑战。针对此，本文设计了一套基于柳叶刀方法的知识提取流水线。柳叶刀方法针对单一的标注学习方法的弱点，提出了迭代式的模型构造方法。可以做到构造知识生产流水线，将版面分析、篇章分析等分工序逐步实现；数百个小模型混合工作，实现细粒度的模型分解；模型高速（小时级）迭代并充分利用先验知识。此外，用深度学习进行模型泛化，有利于扩大现有规则系统的兼容能力。 关键词： 监管科技 知识提取技术 柳叶刀方法 一、背景 监管科技（RegTech）这个词虽然在近几年才为公众所知，其发展已经历约二十年的时间，发展的过程可分为三个阶段：监管1.0，解决数字化和电子化的问题；监管2.0，解决网络化和协同化的问题、OA（办公自动化）的问题；监管3.0，解决自动化和智能化的问题。 中国金融监管机构在近期发布了多个监管科技建设工作的顶层设计文件。证监会发布《中国证监会监管科技总体建设方案》，提出了7大场景、32种落地场景，还有6大基础能力；银保监会发布了《银行业金融机构数据治理指引》；人民银行发布了《金融科技（FinTech

在深度学习处理数据时经常会用到的一步操作，路径名因人而异，可以根据需求自行更改。 import os # get .txt document rootdir=os.path.join('要读取的txt文件的绝对路径') # read write_path=open('要写入的txt文件的绝对路径/write.txt','w') for (dirpath,dirnames,filenames) in os.walk(rootdir): for filename in filenames: if os.path.splitext(filename)[1]=='.txt': write_path.write('要写的绝对路径'+filename+'\n') write_path.close() import os import cv2 from tqdm import tqdm def main(source_root): cwd = os.getcwd() # delete '.DS_Store' existed in the source_root os.chdir(source_root) os.system("find . -name '*.DS_Store' -type f -delete") os.chdir(cwd) write_path=open('./data

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 作者：robot L | 来源： 知乎 https://zhuanlan.zhihu.com/p/148855755 本文仅做学术分享，如有侵权，请联系删除。 主要内容 基于点云分割和CNN的LiDAR点云回环检测方法。 改进的点云配准失效检测方法，效率更高。 基于运动惯性里程计，AICP，回环的因子图LiDAR-SLAM系统，可以在腿式机器人上运行。 不足 处理频率只有1Hz，远低于激光频率10Hz。 没有和SOTA LiDAR-SLAM算法对比。 M. Ramezani, G. Tinchev, E. Iuganov, M. Fallon. Online LiDAR-SLAM for Legged Robots with Robust Registration and Deep-Learned Loop Closure. IEEE International Conference on Robotics and Automation , 2020. 摘要 在本文中，我们提出了一种基于因子图的3D LiDAR SLAM系统，组合了SOTA深度学习的基于特征的回环检测子，使得腿式机器人能够在工业环境中定位和建图。点云先通过惯性运动学状态估计器对齐，然后再使用ICP配准对齐。为了闭环，我们使用使用一种回环策略