机器学习

(译)云原生安全白皮书

六月ゝ 毕业季﹏ 提交于 2021-01-09 12:29:50
执行摘要 目的 云原生的开发和部署模式已经成为业界趋势,技术、产品、标准和解决方案的生态系统也在同步的扩张之中,决策者面临着跟进复杂设计的挑战。CISO 要在这个动荡的战场中实践业务价值,这个角色显得尤为重要。云原生模式鼓励消费模式的变化,和采用需要集成安全实践的现代工作流程(如敏捷方法和 DevOps)。 问题分析 面对快速开发和部署的迫切需要,基于边界的传统安全保障显得力不从心。传统安全方法偏重于对边界进行保护,而更复杂的云原生应用则倾向于识别动态工作负载中的属性和元数据来进行保护,这样才能为应用的模式转换保驾护航。这种方式能对工作负载进行识别和保护,以此适应云原生应用的规模扩展以及快速变化的需要。模式的转变要求使用面向安全的架构设计(例如零信任),并且在应用安全生命周期中采用更多的自动化方法。作为云原生环境的典型特征,容器化也需要最新的最佳实践。安全措施的变更会触及组织内的多个利益方,并且会对开发和运维人员的生产力造成影响,因此其权衡过程会持续存在。云原生应用并没有跳出开发、发布、部署和运维的圈子,但是新的模式需要新的安全机制,从而保障(新方式下)能够保障这些环节目标的达成。云原生应用的生命周期可以建模为开发、发布、部署和运行时这样几个不同的阶段。和传统安全方法相比,云原生安全有机会在不同的阶段注入各自的安全保障,而不是用独立的安全措施来干预应用的生命周期。需要指出的是

“AI工厂”本质:AI基础设施及怎样将AI转化为运营动力

爱⌒轻易说出口 提交于 2021-01-09 10:21:51
来源:TechTalks 作者:Ben Dickson 编译:科技行者 持续关注人工智能新闻的朋友肯定已经发现,AI这个字眼已经被异化成了两个截然不同的定义。媒体和影视作品喜欢把AI描述成已然具备人类般的能力、会导致大量失业甚至会出动机械部队进行人类清剿的末日威胁。但在另一方面,学术研究则更多关注人工智能的具体发展,并承认目前的AI还非常弱小、无法实现人类思维体系中的大部分基本能力。 但至少可以肯定的是,如今的AI算法已经在医疗保健、金融、制造以及运输等领域成为重要的解决方案组件。正如哈佛商学院教授Marco Iansiti与Karim Lakhani在其著作《人工智能时代的竞争:算法与网络为主导的时代下的战略与领导力》一文中所提到,不久之后,“一切人类事务将再也离不开人工智能的辅助。” 事实上,就是目前的“弱”AI已然引领了谷歌、Amazon、微软乃至Facebook等科技巨头的发展与成功,并给全球数十亿民众的日常生活带来影响。Lakhani与Iansiti在自己的书中提到,“在实际应用中,我们需要的并不一定是完美的人工智能。不够完美的AI也足以对社交网络上的内容进行优先级排序、制作品质完美的卡布奇诺咖啡、分析客户行为、设定最佳价格甚至以完成不同的风格创造画作。 事实上,这种不完美的弱AI足以改变企业的性质及其运营方式。” 而哪家企业能够真正将AI转化为运营动力

决策树是如何选择特征和分裂点?

冷暖自知 提交于 2021-01-09 10:13:48
©PaperWeekly 原创 · 作者|贲忠奇 单位|便利蜂算法工程师 研究方向|推荐算法、反作弊 缘起 在解决回归和分类问题的时候,一般会使用 Random Forest、GBDT、XGBoost、LightGBM 等算法,这类算法因为性能好,被业界广泛采用。突然想到树类型的算法都需要明白一个基本问题,树是如何选择特征和分裂点的?其根本要追溯到决策树的种类,每种是如何划分特征和分裂点,以及如何剪枝的。 决策树分为三类:ID3、C4.5、CART。提出时间却是 1984 年提出 CART,1986年提出的 ID3,1993 年提出的 C4.5。在介绍决策树之前需要了解一些信息论的知识,信息、熵、条件熵、信息增益。决策树中的 ID3 和 C4.5 与信息论息息相关。 信息论基础 信息是杂乱无章数据的一种度量方式。在分类问题中,如果待分类的事物可以划分在多个分类中,那么某个分类 的信息定义为: 其中, 是某个分类的信息; 是选择该分类的概率。 熵是信息的期望,也就是计算所有分类包含信息的期望值: 其中,H(Y) 表示分类数据集的熵。 条件熵是在特征 X 给定条件下,类别 Y 的条件概率分布的熵对特征 X 的数学期望。 其中, 表示在特征 X 下的条件熵; 表示特征下 具体特征值的条件熵; 表示 x 和 y 的联合概率分布。 在划分数据集之前之后信息发生的变化叫做信息增益

上交张拳石+北大朱占星老师!IJCAI2020Tutorial!74页ppt可解释人工智能最新进展!

半腔热情 提交于 2021-01-09 08:22:51
注:文末附【深度学习与自然语言处理】交流群,最近赶ACL,比较忙,很多同学加了没有回过期了,可以重新加一下,备注好的一定会回复,敬请谅解。 1月11日-13日,IJCAI2020在线上将正式举办。深度神经网络(DNNs)在计算机视觉、计算语言学和人工智能等领域已经巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性等方向仍然很大程度上缺乏。 于是张拳石和朱占星老师一起带来了这个可解释性的talk,旨在将关注人工智能可解释性、安全性和可靠性的研究人员、工程师以及行业从业人员聚集在一起。也对对当前可解释人工智能算法的优点和局限性的批判性讨论提供了新的前瞻性研究方向。 大纲如下: 完整ppt和资料地址如下: IJCAI Tutorial on Trustworthiness of Interpretable Machine Learning ​ ijcai20interpretability.github.io 机器学习/深度学习算法/自然语言处理交流群 已建立机器学习算-自然语言处理微信交流群!想要进交流群进行学习的同学,可以直接加我的微信号: HIT_NLP 。加的时候备注一下: 知乎+学校+昵称 (不加备注不会接受同意,望谅解) ,即可。然后我们就可以拉你进群了。群里已经有非得多国内外高校同学,交流氛围非常好。 强烈推荐大家关注 机器学习算法与自然语言处理 账号和

总结学习机器学习过程中用到的数据学知识

最后都变了- 提交于 2021-01-09 06:47:00
现在机器学习行业持续加温,应届毕业生年薪持续走高,2019年毕业生算法岗年薪40万起,上不封顶,吸引着越来越多的人想往机器学习方向转。但是刚接触到算法时,看到那些数学公式都望而生畏,特别是公式的推导。今天本文就介绍机器学习会用到哪些数学知识,让那些想往机器学习方向转的同学心里有底,知道学习的方向。 数学是机器学习的内功。作为机器学习的基石,数学知识无论如何是绕不开的,机器学习中大量的问题最终都可以归结为求解最优化问题,微积分、线性代数是最优化方法和理论的基础,很多机器学习算法的建模涉及到概率论,由此可见学好数学知识多么必要。不少准备或刚刚迈入机器学习的同学,在面临数学基础的学习时,会遇到两个问题: 不知道机器学习和深度学习到底要用到哪些数学知识 无法真正理解这些数学知识,并用于机器学习的推导证明 对此,Summer哥在本文中专门为大家解决这两个问题。 首先,在庞杂的数学系统内,哪些知识是在机器学习中真正有用的,对这些知识掌握到什么程度就足够了? 其次,掌握了的数学知识怎么在机器学习领域内运用,即怎么从机器学习的角度去理解数学知识? 一、机器学习所需要的数学知识 很多人对于机器学习中的数学知识,谈之色变,一想到实变函数、随机过程、泛函分析等等就不寒而栗。事实上,要理解和掌握绝大部分机器学习算法和理论,尤其是对做工程应用的人而言,真正所需要的数学知识不过尔尔,主要包括了:<font

【python】Python 资源大全中文版

浪尽此生 提交于 2021-01-09 02:12:36
申明:感谢原作者的整理与分享,本篇文章分享自: https://www.jianshu.com/p/9c6ae64a1bd7 GitHub 上有一个 Awesome - XXX 系列的资源整理,资源非常丰富,涉及面非常广。 awesome-python 是 vinta 发起维护的 Python 资源列表,内容包括:Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。 版权是  https://github.com/jobbole/awesome-python-cn 具体内容 环境管理 管理 Python 版本和环境的工具 p:非常简单的交互式 python 版本管理工具。 官网 pyenv:简单的 Python 版本管理工具。 官网 Vex:可以在虚拟环境中执行命令。 官网 virtualenv:创建独立 Python 环境的工具。 官网 virtualenvwrapper:virtualenv 的一组扩展。 官网 包管理 管理包和依赖的工具。 pip:Python 包和依赖关系管理工具。 官网 pip-tools:保证 Python 包依赖关系更新的一组工具。 官网 conda:跨平台,Python 二进制包管理工具。 官网 Curdling:管理 Python 包的命令行工具。 官网 wheel

资源 | 中文版!《Deep Learning with Python》

狂风中的少年 提交于 2021-01-09 01:52:57
《Deep Learning with Python》 作者介绍 弗朗索瓦 · 肖莱(Francios Chollet),Keras之父,TensorFlow机器学习框架贡献者, Kaggle竞赛教练,个人Kaggle竞赛全球排名曾获得第17名。目前任职于Google,从事人工智能研究,尤其关注计算机视觉与机器学习在形式推理方面的应用。 译者介绍 张亮(hysic),毕业于北京大学物理学院,爱好机器学习和数据分析的核安全工程师,译有《Python数据处理》《Python机器学习基础教程》等。 适用对象 本书的目标读者是那些 具有 Python 编程经验 ,并且想要开始上手机器学习和深度学习的人。 但本书对以下这些读者也都很有价值。 如果你是熟悉机器学习的数据科学家,你将通过本书全面掌握深度学习及其实践。深度学习是机器学习中发展最快、最重要的子领域。 如果你是想要上手Keras 框架的深度学习专家,你会发现本书是市面上最棒的Keras 速成教程。 如果你是研究深度学习的研究生,你会发现本书是对你所受教育的实践补充,有助于你培养关于深度神经网络的直觉,还可以让你熟悉重要的最佳实践。 有技术背景的人,即使不经常编程,也会发现本书介绍的深度学习基本概念和高级概念非常有用。 使用 Keras 需要具有一定的 Python 编程水平。另外,熟悉 Numpy 库也会有所帮助,但并不是必需的

移动应用开发的未来:2020 年五大趋势

僤鯓⒐⒋嵵緔 提交于 2021-01-08 20:45:27
持续进步的同学都关注了 “ 1024译站 ” 这是1024译站的第 66 篇文章 作者:Chris Ciligot 来源:learn.g2.com 翻译:大道至简 自从第一批 App 在苹果应用商店(App Store)发布以来,已经过去了十多年,而且它们不会很快消失。 移动应用不仅继续成为用户的热门技术,而且目前正在重塑许多企业的运营方式。数据显示,到 2022 年,移动应用年下载量将达到 2580 亿次,比 2017 年的 1780 亿次增长 45%。到 2021 年,全球移动用户将达到 70 亿左右。因此,企业显然需要继续推动移动应用创新和开发,以满足不断变化的客户需求。 2020年移动应用发展趋势 对于企业和开发者来说,要想从他们在移动应用创新和开发方面的努力中获得成功,他们必须首先确定在移动应用开发方面的进展和改进是什么,以及如果不采取行动,哪些进展可能会带来长期的后果。本文将探讨 2020 年移动应用开发的五大潜在机遇和挑战。 1 人工智能、机器学习和语音个性化 移动用户需要更加个性化的应用体验来满足他们的独特需求。因此,下一波移动应用将利用人工智能和支持语音的技术,使它们更加直观和互动,提供真正个性化的体验。 人工智能和机器学习允许应用程序从用户以前的操作和使用模式中学习,从而允许它在没有被告知的情况下实现必要的操作。例如,下一次用户在线购物时

程序员到底要不要读研,过来人给你几点建议!

偶尔善良 提交于 2021-01-08 19:55:43
微信公众号【黄小斜】大厂程序员,互联网行业新知,终身学习践行者。关注后回复「Java」、「Python」、「C++」、「大数据」、「机器学习」、「算法」、「AI」、「Android」、「前端」、「iOS」、「考研」、「BAT」、「校招」、「笔试」、「面试」、「面经」、「计算机基础」、「LeetCode」 等关键字可以获取对应的免费学习资料。 ​ 一直想写一篇关于读研方面的文章(之前写过一篇考研回忆,主要在讲复习方法),奈何最近脑袋不太灵光给耽搁了,恰逢今日艳阳高照, 刚好离今年的考研也就一个月左右的时间了 ,那么今天就来聊聊读研这件事吧。考研复习那段时间最常听的一首歌,也送给大家。 壹 我与考研的那些破事 笔者作为16年考研大军的一员 ,深知考研之艰难,复习之不易,每天花10+小时泡在图书馆的时光还历历在目,那些年看过的“肖秀荣四套卷”、“新东方英语真题”、“考研数学复习全书”还堆在我家的桌子上。 说来好笑,最早我打算考研是听了家里人和前女友的劝,自己的主观能动性并没有那么强,那时候还是大三上学期, 没有太大的目标,就想跟跟风考考本校 。在上了贼船之后,我压根没把考研这件事放在心上,买来的参考书更是一字没看(看一眼算我输)直到大三暑假我开始意识到问题的严重性。 那时候有个不大不小的理想,就是想进一个互联网大厂,特别是对游戏公司情有独钟(你懂的

区块链技术最新发展态势——基于区块链技术前沿报告2020整理

半世苍凉 提交于 2021-01-08 15:25:04
最近在整理区块链方面的东西,刚看完一份中国通信学会的报告《区块链技术前沿报告2020》,发现里面的东西写得还是挺全的,所以这里对这份报告的内容做一个梳理。至于原报告,需要的小伙伴儿可以去我的公众号私信我,我把下载链接发给你们! 区块链 在面向货币的区块链应用场景中,数字货币三强格局初具雏形。 Facebook主导的Libra 中国人民银行牵头的数字货币电子支付DC/EP 瑞典、法国等欧洲各国央行推动的CBDC 区块链和机器学习结合的实例: 美国能源部DOE资助佛罗里达国际集成区块链和机器学习技术研发新型平台,用于化石燃料发电网络中安全数据记录和处理。 在区块链标准和体系建设方面: 国际化标准组织ISO于2016年设立了 TC307技术委员会 ,开始定义区块链参考架构、分类和本体。截止目前为止, 公开发布了一个区块链领域标准,另有10个标准正在制定中 。 电气电子工程师学会IEEE作为在160多个国家拥有42万多名会员的全球最大的专业组织,于2018年启动了IEEE区块链计划和设立了IEEE消费电子协会区块链标准委员会。截止目前为止,在区块链领域, IEEE共公开发布了3个正式标准,1个标准草案,另有52个标准正在制定中 。 美国国土安全部DHS正在探索在海关与边境保护等业内实施区块链的最佳实践以及全球可用的规范 认证标准委员会X9区块链研究小组正在开发美国区块链技术的通用语言