大数据

Mars:加速数据科学的新方式

余生长醉 提交于 2020-12-22 22:25:06
本文分为4个部分: Mars的背景和现状 Mars解决了什么问题 Mars背后的哲学 总结与展望 一、Mars的背景和现状 说到加速数据科学的新方式,就不得不说什么是数据科学,以下是维基的定义: 数据科学通过运用各种相关的数据来帮助非专业人士来理解问题。第一,它的目标是从数据中提取输入价值的部分,第二,它要生产数据产品,第三它结合了非常多重要的技术,包括数学、统计、机器学习、可视化,最后,它需要真正解决问题。 它包含三个方面,计算机科学、数学和统计、领域和商业知识。它们结合起来分别是机器学习、软件开发和传统研究,中间是数据科学。 数据科学技术栈包含语言、数据分析、数据工程、机器学习、Web开发、运维和商业智能。每个技术栈都包含不同的工具,提供不同的数据服务。 传统Python数据科学栈的三大底座是NumPy、Pandas和SciPy。NumPy是最核心的部分,它用来做数值计算,几乎其他所有Python的数据科学技术栈都建立在NumPy上,因为它有最基础的数据结构,也就是多维数组;另外,Pandas也用NumPy实现,它上面有很多API来进行分析操作;而SciPy主要负责科学计算。在此基础上,是机器学习和可视化,同时还有丰富的Python函数。 上面是Python数据科学技术栈整体的状况,他们有几大好处,比如广泛使用,是事实标准;上手成本低,容易为初学者和学生入门;和语言结合紧密

神州信息旗下华苏科技获评“2020江苏省软件核心竞争力企业”

我是研究僧i 提交于 2020-12-22 19:46:06
12月18日,由江苏省工业和信息化厅、江苏省科学技术厅指导,江苏省软件行业协会主办的“第二届江苏软件产业发展大会”在南瑞大厦会议中心成功举办。神州信息旗下华苏科技凭借在自主研发实力、业务覆盖范围、服务交付质量等方面取得的优异表现获评“2020江苏省软件核心竞争力企业(规模型)”并作为企业代表出席领奖。 为进一步发挥江苏省软件行业协会行业自律作用,引导和推动软件企业诚信经营,帮助协会会员企业积极履行社会责任,加大软件企业竞争力宣传力度,打造“江苏服务”品牌,结合江苏省软件行业实际,协会联合软件企业共同制定了《软件企业核心竞争力评价规范》(T/JSIA 0001-2020),为从事软件开发和服务的企业提供了管理实施规范,也为软件行业服务机构、政府相关管理部门提供了评价依据。 本次软件企业核心竞争力评选,协会依据《软件企业核心竞争力评价规范》(T/JSIA 0001-2020)中所规定的标准,结合软件企业发展的实践,以及软件行业协会服务企业的成功经验,对软件企业的企业规模、经营业绩、研发能力、创新成果、质量保证等方面提出了要求,并对竞争力评价过程提出了规范性要求。 评选涉及江苏省范围内近1000家软件企业,华苏科技凭借自身过硬的综合实力及在软件行业不断突破的优异表现,获评“2020江苏省软件核心竞争力企业(规模型)”,获得行业的高度认可。 华苏科技作为国家规划布局内重点软件企业

现代化信息技术助力打造的智慧工厂管理系统有何好处

妖精的绣舞 提交于 2020-12-22 19:29:34
智慧工厂是现代工厂信息化发展的新时期。是在数字化工厂的基础上,运用物联网的技术和设备监控技术增强信息化管理和服务,清晰掌控产销流程、提升生产加工过程的可控性、减少生产线上人工的干预、及时准确地采集生产线数据,以及合理的生产计划编排与生产进度。并加上绿色智能的手段和智能系统等新兴技术于一体,创建一个高效节能的、绿色环保的、环境舒适的人性化工厂。 相较于传统工厂,智慧工厂能实现生产线上无人化、精确管理化、环节数据化、联网通讯化和能源低碳化。基于庞大数据库实现数据挖掘与分析,使工厂具备自我学习能力,并在这个基础上完成能源消耗的优化、生产决策的自动判断等任务,以最大程度提升生产效益,更符合快速发展的现代社会对于工厂的要求,更符合时代发展的新理念、新要求。 智慧工厂的生产加工过程全程无需人工操作,智能化机器就可以实现工厂内的所有生产,引入基于计算机数控车床、机器人等高度智能化的自动化生产线,满足个性化定制柔性化生产需求,有效缩减产品生产周期、削减人力成本,同时又能解决工厂的招工问题,削减工厂支出成本,提升工厂效益。 智慧工厂充分运用现代信息技术,建成一套覆盖全区的视频监控云平台,实现工厂内智能巡检、精确分析预警、高清无线视频监控等,能通过可视化平台智能监控,显示生产的实时动态,不但能实现统一调度和指挥,还能实现操作人员远距离参与生产加工过程的修正或指挥。 通过无人机拍摄的高清视频,实时、安全

娱乐 | 14个简单、有趣、好玩的Linux命令

Deadly 提交于 2020-12-22 17:16:19
前言 相信大家对于linux常用的命令一定都不陌生,但是一些简单,好玩,有趣,虽然可能没有实际作用的命令,你又有了解多少呢?话不多说,本期文章为大家带来15个好玩的linux命令,希望大家能够喜欢! 1、sl 命令 你会看到一辆火车从屏幕右边开往左边…… 当然我们需要先安装软件包 sudo apt - get install sl 然后运行 sl 即可看到效果 2、fortune 命令 输出一句话,有笑话,名言什么的 (还有唐诗宋词 sudo apt-get install fortune-zh ) 软件包安装 sudo apt - get install fortune 这些都是英文的,如果你想看中国的唐诗三百首,则需要再安装: sudo apt install fortune - zh 来多执行几次 fortune-zh ,可以看到不同的唐诗: 3、cowsay 命令 用ASCII字符打印牛,羊等动物 也是需要先安装软件包 sudo apt - get install cowsay 还有一种骚操作是 cowsay -l 查看其它动物的名字,然后 -f 跟上动物名 ,如 4、cmatrix 命令 这个就很酷,有《黑客帝国》那种矩阵风格的动画效果 先安装软件包 sudo apt - get install cmatrix 运行 cmatrix 命令即可 5、figlet

新基建时代城市大脑助力智慧城市的全面发展与建设

时光怂恿深爱的人放手 提交于 2020-12-22 17:15:09
在全国抵御新冠疫情获得重大成果之际,新基建发展得热火朝天,获得了各领域,尤其是产品及服务提供商的激烈讨论和积极参与。那么,在新基建之后是什么呢?自然是作为上层建筑的智慧城市。回首过往几年,“智慧城市”方兴未艾,“城市大脑”又异军突起,大有引导智慧城市建设潮流的趋势。但是,琳琅满目的“城市大脑”之间、各种“城市大脑”与现有的智慧城市系统之间的协同依然存在许多的问题:系统割裂、数据鸿沟、建设和运维资金短缺、市场的激烈竞争、良莠不齐的解决方案等都牵制着行业的发展。本文从“脑体协调”、“标准统筹”和“产能输出”等多个层面讨论了借力新基建构建“城市大脑”,推进新型智慧城市建设层面的若干思考,供政府决策部门和有关研究机构、市场主体参考。 1、以“大脑”引导“肌体”,全局统筹发展 过往的智慧城市建设,通常是按照业务领域的不同,分别由不同部门领头推进,如智慧交通、智慧医疗和智慧城管等。这就出现了“九龙治水”的现象。很多人的观念是“我的事你少管”、“你的事我也不想掺和”,相互不搭理。在智慧城市的发展初期,我国的城市化程度较低,城市面积和人口规模没现在这么大,普通百姓追求美好生活的心情也没现在那么迫切,社会治理任务也没现在这么沉重。因此 ,对城市进行简单的条块化管理就基本上能满足大家的需求,这种系统隔离的现象并没有太大的不妥。 但在强调社会协同治理、实现城市治理体系和治理能力现代化的当下,“九龙治水

2020数据分析人才及CDA持证人行业报告

谁说胖子不能爱 提交于 2020-12-22 16:20:19
一、 数据分析 的市场前景 当今世界,科技发展瞬息万变,给大众带来生活便利的同时,也为国家发展、工作职能带来了新的考验。2016年国务院办公厅印发的《国家信息化发展战略纲要》和《“十三五”国家信息化规划》提出“加快建设数字中国”,并将“数字中国建设取得显著成效”作为我国信息化发展的总目标。《数字中国建设发展报告(2017)》指出,加强顶层设计、总体布局,做出建设数字中国的战略决策。在“数字中国”战略的指导下,信息化基建的快速发展,各机关、大中小企业积极响应,逐步实现数字化转型。 数字化转型不仅需要底层信息化基建的支撑,还需要培养相关人才实施应用。领英中国发布的中国新兴职业报告中指出,相比2013年,2017年 数据分析师 职业成为为五大新兴职业之一。 图表 1 2013-2017年排名前五的职位增长率[ 领英中国2019年发布的《新兴职业报告》,为图表1中数据来源 2013至2017年间,“数字中国“的国家战略提出不久,信息化基建仍在发展初期,顺应时代发展的新兴职位数据分析师正以2.3%的增速增长。近几年,越来越多的企业加入到数字化转型的进程中,信息化基建趋于成熟,也激发了数据相关职位的市场需求。2020年,领英发布的最新新兴职业报告[ 领英《2020年新兴职业报告》,为图表2中数据来源。]显示15个新兴职位正以20%以上的年增长率高速增长。其中

「直播回顾」Mars:加速数据科学的新方式

偶尔善良 提交于 2020-12-22 11:30:31
简介: 本文从数据科学概念、背景和现状切入,引出加速数据科学的新方式Mars,并介绍了Mars具体能解决的一些问题和背后的逻辑、哲学,同时对Mars整体数据处理流程进行了介绍。 本文分为4个部分: Mars的背景和现状 Mars解决了什么问题 Mars背后的哲学 总结与展望 一、Mars的背景和现状 说到加速数据科学的新方式,就不得不说什么是数据科学,以下是维基的定义: 数据科学通过运用各种相关的数据来帮助非专业人士来理解问题。第一,它的目标是从数据中提取输入价值的部分,第二,它要生产数据产品,第三它结合了非常多重要的技术,包括数学、统计、机器学习、可视化,最后,它需要真正解决问题。 它包含三个方面,计算机科学、数学和统计、领域和商业知识。它们结合起来分别是机器学习、软件开发和传统研究,中间是数据科学。 数据科学技术栈包含语言、数据分析、数据工程、机器学习、Web开发、运维和商业智能。每个技术栈都包含不同的工具,提供不同的数据服务。 传统Python数据科学栈的三大底座是NumPy、Pandas和SciPy。NumPy是最核心的部分,它用来做数值计算,几乎其他所有Python的数据科学技术栈都建立在NumPy上,因为它有最基础的数据结构,也就是多维数组;另外,Pandas也用NumPy实现,它上面有很多API来进行分析操作;而SciPy主要负责科学计算。在此基础上

东南亚智慧物流先驱 Zeek 逆市融资千万美元 ,将革新配送生态

大憨熊 提交于 2020-12-22 07:55:44
香港--(美国商业资讯)--东南亚物流科创企业Zeek 今日宣布,完成总金额约1,000万美元的 Pre-A 轮融资,逆市中广获亚洲地区战略投资者及投资基金支持。新资金主要用于发展东南亚市场、优化配送管理系统产品及加强智能物流数据应用。本轮融资后,Zeek 的累计融资额已超过 1,500 万美元。投资者包括顺丰控股(深圳证券交易所代码:002352)、华懋集团、菲律宾建明集团家族、恒基地产(香港上市公司股票代码:0012)联席主席李家杰博士私人投资、香港特别行政区政府旗下创科创投基金、香港科技园创投基金、卓创有限公司、慧科科创投资、凯路斯资产管理有限公司及尚策创投等,尚策资本担任本轮融资的财务顾问。 Zeek 联合创始人兼行政总裁赵家祺表示:“疫情推动线上消费行为,促使传统商家积极数字转型。Zeek 本年度前三季度配送单量已超过300万,按年计算大幅增加达100%,已增聘 50% 人手以适应需求。市场预计到2023年,东南亚餐饮与生活类 O2O配送市场每年规模将达 26 亿单,每年以 10% 增长,总营业额高达千亿美元。本轮融资将有助我们把智慧物流方案 ZeekSolutions 延伸至不同行业场景外,同时加快拓展东南亚版图,捕捉拥有互联网渗透率高的庞大年轻消费群体及线上消费爆发性增长机遇。” 善用大数据扩展场景 以科技革新物流配送产业 Zeek由建顺资讯科技有限公司创立,自

送书啦,端午节送3本书,文章末抽奖

牧云@^-^@ 提交于 2020-12-22 07:49:03
导读: 目前我国大数据产业发展已步入行业规模快速增长时期,随着 “ 新基建 ” 越来越受重视,大数据产业也将迎来发展新机遇。今天,小编带大家了解一些热门的大数据技术,以及一些硬核好书。 来源:华章计算机(hzbook_jsj) 目前我国大数据产业发展已步入行业规模快速增长时期, 随着云时代的来临,大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产要素,人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据,为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术,广泛应用于物联网、云计算、移动互联网等战略性新兴产业。 大数据 在 用户画像建模 、 个性化推荐 与 精准营销 中 的应用占比越来越大。在众多数据分析方法中, 用户画像 几乎是后期数据工作的“标配”,适用于应用层的个性化推荐、精准营销、客群管理和运营等各个场景。用户画像是数据分析和算法工程都无法绕过的话题,小编为大家推荐 《用户画像:方法论与工程化解决方案》 。 赵宏田 著 这是一 本从技术、产品和运营3个角度讲解如何从0到1构建一个用户画像系统的著作,同时它还为如何利用用户画像系统驱动企业的营收增长给出了解决方案。 书 中手把手教授工程实现、模型搭建、应用场景等内容

智算新时代,浪潮云海云图生态3.0打开千亿智慧生态市场

喜你入骨 提交于 2020-12-22 07:39:37
郑州市郑东新区市政环卫工人在手机上接收到有非机动车乱停乱放的信息,他们赶到并将违规停放在非机动车道的共享单车重新摆放在路台停放区,用时不到十分钟,而给环卫工人发送处理指令的是“郑东新区城市大脑”。2020年,郑东新区与浪潮云海合作打造城市大脑,搭建起“智慧郑东”总体架构,以浪潮云海OS为平台,实现基础设施智能化、支撑多种城市管理智慧应用,帮助郑东新区达成公共服务便利化以及社会治理精细化的智慧城市建设目标。 2020年,浪潮云海进入第十个年头,从最初的虚拟化管理到后来基于OpenStack的云数据中心操作系统,再到今年提出的智算中心操作系统,浪潮云海在开源开放的技术路线上不断演进。2015年,浪潮云海启动了面向云计算生态的“云图计划”,旨在通过合作伙伴扩散开源开放技术的红利。2020年11月,伴随着智算中心操作系统的发布,浪潮生态全面升级,发布了云图生态3.0战略,计划未来3年打开千亿智慧生态市场。 浪潮云计算大数据产品线总经理蒋永昌在2020年11月25日的浪潮云海创新论坛2020上表示,浪潮云海将持续打磨开放、融合、敏捷、智能的智算中心操作系统,联合合作伙伴打造面向行业的智慧解决方案,通过“平台+生态”战略,为全行业、全场景业务创新提供基础,帮助用户实现数智化转型,加速进入智慧时代。 浪潮云海的十年进化之路 2010年,浪潮推出了“云海战略”,2015年全力“All In”