人工智能

必备干货 | Hbase简介以及数据结构和表详解

喜欢而已 提交于 2021-01-30 01:03:08
注:此文章内容均节选自充电了么创始人,CEO兼CTO陈敬雷先生的新书 《分布式机器学习实战》(人工智能科学与技术丛书)【陈敬雷编著】【清华大学出版社】 文章目录 前言 Hbase原理和功能介绍 1. Hbase特性 2. Hbase的架构核心组件 Hbase数据结构和表详解 总结 前言 Hbase 经常用来存储实时数据,比如Storm/Flink/Spark-Streaming消费用户行为日志数据进行处理后存储到Hbase,通过Hbase的API也能够毫秒级别的实时查询。如果是对Hbase做非实时的离线数据统计,我们可以通过Hive建一个到Hbase的映射表,然后写Hive SQL来对Hbase的数据进行统计分析。并且这种方式可以方便的和其它的Hive表做关联查询,做更复杂的统计。所以从交互形势上Hbase满足了实时和离线的应用场景,在互联网公司应用的也非常普遍。 Hbase原理和功能介绍 HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目

疫情之下的科技普惠:阿里云科技驱动中小企业数字化

断了今生、忘了曾经 提交于 2021-01-29 22:49:41
2020年到2021年,一场疫情给全球经济发展带来了重创。在受到疫情影响之时,各行各 业尽展众相,一些企业进行着自我变革;一些企业还未来得及自救,却已被淘汰。更受疫情 冲击的,是各行各业中的中小型企业,他们面临艰难处境。凤凰涅槃,寻求增长,是每一个 中小企业都要面对的课题。在这样的背景下,疫情的到来也在无形中加速了数字经济的发展, 数字化转型成为了每一个企业突破增长的战略关键。 问题来了:阿里云如何通过科技普惠,来驱动中小企业数字化? 阿里云大网站负责人陈意明表示: 数字化虽好,但是,对于经济实力、抵抗能力比较弱的中小企业来说,如果完全自主建设数 字化,在人力、物力、财力等方面都面临各种各样的短板。不过,基于中国长达20多年互 联网行业的高速发展,人工智能、大数据、云计算等技术的不断发展,在国家数字化发展政 策渐渐明晰的背景和第三波数字化升级浪潮中,阿里云已经推出多种企业信息技术发展服务 与应用,为中小企业的数字化转型做好了准备。 阿里云基于自身强大的技术实力和服务中小企业多年的经验,基于对中小企业的实际现状的 深入洞察,基于赋能中小企业的专业技术责任和社会互助的责任,在产品、场景、服务方面 都进行了大规模的升级,助力并加快中小企业的数字化转型进程来渡过难关。 阿里云大网站负责人陈意明 一.产品升级,为中小企业数字化转型提供更安全、稳定的基础支撑 10多年前

Serverless Kubernetes:理想,现实与未来

筅森魡賤 提交于 2021-01-29 17:35:21
作者 | 易立、张维 来源 | 阿里巴巴云原生公众号 导读 :当前 Serverless 容器的行业趋势如何?有哪些应用价值?如果 Kubernetes 天生长在云上,它的架构应该如何设计?Serverless 容器需要哪些基础设施?阿里云容器服务产品负责人易立及阿里云 Serverless Kubernetes 产品 TL 张维将分享他们对 Serverless 容器架构和背后的关键思考。 从 Serverless 容器到 Serverless Kubernetes Serverless(无服务器)容器是让用户无需购买和管理服务器直接部署容器应用的产品、技术形态。 Serverless 容器可以极大提高容器应用部署的敏捷度和弹性能力,降低用户计算成本;让用户聚焦业务应用而非底层基础设施管理,极大地提高应用开发效率,降低运维成本。 目前 Kubernetes 已经成为业界容器编排系统的事实标准,基于 Kubernetes 的云原生应用生态(Helm, Istio, Knative, Kubeflow, Spark on K8s 等)更是让 Kubernetes 成为云操作系统。一方面通过 Serverless 方式根本性解决 K8s 自身的管理复杂性,让用户无需受困于 K8s 集群容量规划、安全维护、故障诊断;一方面进一步释放了云计算的能力,将安全、可用性

首发!京东数科更名完成动作:升级为京东科技,李娅云任CEO

给你一囗甜甜゛ 提交于 2021-01-29 16:24:14
1月29日,贝多财经了解到,京东集团旗下京东数科已于近日完成了品牌升级,升级后的品牌名为京东科技,对应的平台也在陆续更名。其中,原京东数科CEO李娅云将出任京东科技CEO。 当前,京东数科官网也已经同步更名为“京东科技”,并更新了新LOGO。京东数字称,为给大家提供更加优质的技术服务,京东集团已整合原京东数字科技(京东数科)、原京东云与AI事业部为京东科技子集团。 京东科技表示,即日起,原京东数科、京东智联云品牌不再适用,统一品牌为京东科技,京东科技现已成为整个京东集团对外提供技术服务的核心输出平台。 京东科技强调,您与原京东数科、京东云与AI事业部的合作业务不会受到任何影响。整合后的京东科技集团实现了科技板块的一体化协同,致力于为企业、金融机构、政府等各类客户提供全价值链的技术性产品与解决方案。 事实上,京东科技近期动作不断。天眼查信息显示,今年1月15日,北京京东叁佰陆拾度电子商务有限公司申请注册了JD TECH、JDT、JD TECHNOLOGY、JDT 京东科技等多个商标,用来作为支撑。 据贝多财经此前了解,京东集团曾于2021年1月份内部发文决定整合原京东数科子集团、原京东云与AI事业部,成立京东科技子集团。换句话说,京东科技将融合京东数科等子品牌,并进一步弱化金融属性。 京东集团方面透露,在集团整体战略布局当中,技术被定位为交易和服务之后的第三条增长曲线

RTSP/GB28181视频智能分析人脸识别系统EasyCVR除人脸门禁外还可以运用到哪些方向?

限于喜欢 提交于 2021-01-29 15:41:28
得益于人工智能的发展,人脸识别作为基于脸部特征信息进行身份识别的一种生物识别技术已在更多的领域有着成熟的应用,其中不得不提的就是基于人脸识别所开发的监控智能门禁系统。随着政府智慧小区工程项目的不断推进,小区人脸识别门禁也正在逐步取代传统门禁,小区人脸识别门禁可以管控小区人员出入和加强小区治安管理。 目前,TSINGSEE青犀视频开发的视频协议融合平台EasyCVR已经将人脸识别作为了一项主要开发方向,连同车牌识别等技术一起已经成熟完善,用户在系统上直接显示实时画面,并将对人脸等识别数据进行实时存储,必要时通过相关接口输出到第三方应用系统中,实现信息上报,分享等功能。 除了人脸门禁外,视频智能分析平台EasyCVR的人脸识别功能还在更多地方发挥着不可替代的作用。 一、身份核验与人证对比 EasyCVR人脸识别功能可以应用于铁路安防系统、公安机关、移动警务和某些特定的场合,通过在证件识别、活体检测、人脸对比等多项核心技术,加强对入站旅客的管理。利用人脸识别技术对逃逸的犯罪嫌疑人和逃犯进行定位和追踪,提高了站点的安全性和管理效率。 二、工地实名制管理 建筑施工工地使用人脸识别技术可以有效实现企业智能化技术管理,以人脸识别信息系统与相关的政府管理部门联动,管理工地内人员出入权限,把具有人脸识别技术的人脸识别门禁系统与后台资源管理系统相结合,可实现工地人员身份识别

推荐 :一文带你熟悉贝叶斯统计

萝らか妹 提交于 2021-01-29 04:47:10
作者:Matthew Ward 翻译:陈之炎 校对:陈丹 本文 约5000字 ,建议阅读 10+ 分钟 本文为你带来贝叶斯统计的基础示例及全面解释。 图:Unsplash,Chris Liverani 贝叶斯统计这个术语最近被广泛使用。它常用于社交场合、游戏和日常生活中,如棒球、扑克、天气预报、总统选举投票等。 在许多科学领域,可以用贝叶斯统计来确定粒子物理和药物有效性实验的结果,它还可用于机器学习和人工智能,以预测你想看什么新闻故事或观看什么Netflix节目。 不管是否对它有充分的理解,贝叶斯统计已融入了我们的日常生活当中,为此,笔者想通过本文对贝叶斯统计做全面的解读,通过一个详尽的例子来展示这个术语的含义。一旦你理解了这个例子,那么便基本上理解了贝叶斯统计。 首先,在读本文之前,假设读者事先对Bayes定理有所熟悉,愿意把公式当成一个黑匣子的读者,也不成问题。如果需要复习一下贝叶斯定理的话,可以到 Medium resources(https://towardsdatascience.com/bayes-theorem-the-holy-grail-of-data-science-55d93315defb)中查找相关资源。 示例和原始观察 这是教科书中经常用到的一个经典例子,我是十多年前在John Kruschke的《DoingBayesian Data Analysis:

用安兔兔测试小米11和红米K30,发现骁龙888发热相当严重

微笑、不失礼 提交于 2021-01-29 04:39:27
骁龙888的发热问题已被不少用户吐槽,不过还是有不少人为骁龙888辩护,近日柏铭科技通过以安兔兔测试测试小米11和红米K30,对比之下足以证明骁龙888的发热问题相当严重。 昨天逛街,进了广州白云区凯德广场的小米之家,在现场用小米11运行了安兔兔,测试结束后安兔兔的数据显示小米11的电池温度达到42°,CPU温度达到59°。 安兔兔的测试也显示小米11的跑分仅有67.9万分,未能达到媒体宣传的75万分,估计这可能也与这款手机的内存容量有关吧。 随后笔者又以自己的红米K30测试了安兔兔,测试完毕后显示的电池温度为34°,CPU温度为33度。 对比可以看出小米11的温度明显比红米K30高出太多,这与一些业界人士指出骁龙888的发热在可接受范围内显然大相径庭。 骁龙765G为一款7nmEUV工艺芯片,它采用双核A76+六核A55架构,高性能核心只有两颗,这让它的功耗较低。 骁龙888则采用了1颗X1+3颗A78+4颗A55的架构,采用了更先进的5nm工艺。X1为ARM首次推出的超大核心,进一步增强了AI性能和处理器性能,普遍认为骁龙888的发热过大就出在这颗X1核心。 ARM首次推出64位高性能核心A57的时候也曾翻车,当时高通采用A57核心的骁龙810发热问题非常严重,导致骁龙810很难正常运作,后来手机企业纷纷放弃采用骁龙810芯片,导致2015年高通的骁龙8XX系列芯片销量大跌六成

个推异常值检测和实战应用

有些话、适合烂在心里 提交于 2021-01-28 23:22:43
日前,由又拍云举办的大数据与 AI 技术实践|Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者,现场分享各自领域的大数据技术经验和心得。以下内容整理自个推资深算法工程师令狐冲现场分享: 令狐冲(花名),个推资深算法工程师,目前负责个推深度学习相关研发工作,对 AI 算法有深入的了解及丰富的实践经验,擅长将大数据分析与深度学习神经网络相结合,为业务落地输出算法产品化能力。 大家好,我是来自个推的令狐冲,今天主要分享大数据中的异常值检测和实战应用,围绕研究背景、异常值检测方法、异常检测实战应用等话题,结合相关实战数据介绍异常值检测算法的最新进展情况。 研究背景 异常值检测是大数据分析中一个重要的研究方向,实时异常值自动检测有助于运营人员快速发现系统异常问题。我们常说的异常值通常是相对于正常值来表述的,要结合实际业务来讲一个值是否正常,也就说这是一个业务描述。如果我们要解决一个业务问题,首先要做的就是将这个问题数学化,将业务描述转化为数学描述,这样你才可以使用适合的算法或使用其他分析方法来解决。 对于异常值而言,从数学上看可以看做一个离群点。当然在实际业务中,考虑到业务的结合情况不同,有些异常值看似是离群点,但是从全局业务上看也可能是一个正常值。具体情况需要结合结果来分析,不过我们大致可以使用离群点来代表异常值。

嵌入式编码规范,收藏细读!

夙愿已清 提交于 2021-01-28 22:11:00
作为程序开发者,避免不了阅读别人代码,那么就会涉及到到一门语言的编程规范。规范虽然不是语言本身的硬性要求,但是已经是每一个语言使用者约定俗成的一个规范。 按照编程规范编写的代码,至少在代码阅读时,给人一种愉悦的心情,特别是强迫症患者。另一方面,统一的编程风格,可以减少编写错误,利于后期维护。 因为最近又开始进行纯C语言的开发,并且是基于SDK的开发,所以添加的每一行代码都应该与原来风格保持一致,不能因为一颗老鼠屎坏了一锅汤。一个良好的编程规范也可以看出编程人员的细心程度与代码质量。 之前待过的两家公司,也都有各自总结的编程规范,但都不约而同的一致,适用本公司的软件开发。这几天有幸可以参阅华为技术有限公司的C语言编程规范,相比之下,写的更加详细。 至少接触到了,在这个编程规范中体现了,并且还扩充了很多,我觉得有必要归纳总结,一遍日后查阅。先是学习规范,然后再积累规范,最后才是依规范编写。 1、清晰第一 清晰性是易于维护、易于重构的程序必需具备的特征。代码首先是给人读的,好的代码应当可以像文章一样发声朗诵出来。 2.、简洁为美 简洁就是易于理解并且易于实现。代码越长越难以看懂,也就越容易在修改时引入错误。写的代码越多,意味着出错的地方越多,也就意味着代码的可靠性越低。 因此,我们提倡大家通过编写简洁明了的代码来提升代码可靠性。废弃的代码(没有被调用的函数和全局变量)要及时清除

斯坦福教授| 什么是博士论文?

≡放荡痞女 提交于 2021-01-28 14:39:07
本文中的闪图复制自北岭加州州立大学(California State University, Northridge) 网页 https://www. csun.edu/~vcpsy00h/crea tivity/define.htm 注:文末附交流群,最近赶ACL,比较忙,很多同学加了没有回过期了,可以重新加一下,备注好的一定会回复,敬请谅解。 这是我在1993年写给一名学生的信,内容涉及他的论文初稿。2003年,我修改了一下这封信,删除了与该学生相关的具体内容,并将修改后的这封信作为对所有研究生的额外知识要求。 I wrote this in 1993 as a letter to a student concerning a draft of his dissertation. in 2003 I edited it to remove some specific references to the student and present it as a small increment to the information available to my grad students. --spaf 先让我以一些看似显而易见的事情开始。Let me start by reviewing some things that may seem obvious: 第一