云计算

大数据概述(二)

主宰稳场 提交于 2019-11-30 06:31:20
一.大数据就是Hadoop? 一提到大数据,首先想到的就是Hadoop,Hadoop是由Apache基金会开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下开发分布式程序。而大数据就是Hadoop么?开源技术Hadoop可以提供相对廉价的分布式的存储系统,通过MadReduce的技术,进行并发、高效能的计算。大数据引擎基本上完成是存储和计算,但真正的存储计算结果还要与传统的业务系统和其他应用来使用。 IBM软件集团大中华区业务分析洞察及智慧地球解决方案总经理卜晓军认为,如今要做的决策来自于可确认的信息,而世界产生的信息是各个维度,若不分析数据就只是存在数据库里的数据,只有分析了才能发现数据的内在价值。大数据是原始的数据,数据的展示角度不同,其中有些数据是不为所用的,需要对数据进行质量的分析或是真实性的分析,最重要的是分析的结果要准确。 二.什么是Hadoop? 大数据目前分为四大块:大数据技术、大数据工程、大数据科学和大数据应用。其中云计算是属于大数据技术的范畴,是一种通过Internet以服务 的方式提供动态可伸缩的虚拟化的资源的计算模式。那么这种计算模式如何实现呢,Hadoop的来临解决了这个问题,Hadoop是Apache(阿帕切) 的一个开源项目,它是一个对大量数据进行分布式处理的软件架构,在这个架构下组织的成员HDFS(Hadoop分布式文件系统)

不做背锅侠,运维工作要点指南

瘦欲@ 提交于 2019-11-30 06:16:31
随着数据中心建设的规模不断扩大,新技术迭代更新,承载数据中心业务的网络变得异常复杂。为了适应数据中心业务的发展,数据中心网络也在不断更新与变化,给运维工作带来了极大的难度。 随着数据中心建设的规模不断扩大,新技术迭代更新,承载数据中心业务的网络变得异常复杂。为了适应数据中心业务的发展,数据中心网络也在不断更新与变化,给运维工作带来了极大的难度。数据中心宕机事故也难免发生,这不仅增加了数据中心运维人员的工作量,更重要的是给数据中心带来了巨大的损失,就连全球知名的互联网巨头也经常享受这般“待遇”。 互联网巨头宕机不断,运维工作成难题 3月3日凌晨,阿里云出现宕机故障,导致购买阿里云服务的企业网站或互联网公司APP无法正常使用。一大波程序员、运营和运维不得不从被窝里爬起来干活。针对阿里云此次宕机,58高级架构师沈剑称,事故持续了3个小时左右,事后观察了2个小时。 5月3日凌晨3点43分开始,微软Azure在全球范围内出现了大面积宕机,整个过程持续了将近2个小时,直到5点30分才完全恢复。受Azure宕机影响,包括Microsoft 365,Dynamics和DevOps在内的微软主要服务均出现使用问题。 6月3日凌晨2点58分开始,谷歌在全球范围内遭遇了大规模中断,包括Gmail、YouTube和Google Drive在内基于谷歌云架构服务的诸多谷歌服务均受到影响

大数据

落爺英雄遲暮 提交于 2019-11-30 05:49:35
一、什么是大数据 大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据产生的阶段 (1)、第一次信息化浪潮:第一次个人计算机pc开始普及。 (2)、第二次信息化浪潮:人类开始全面进入互联网时代。 (3)、第三次信息化浪潮:云计算、大数据、物联网的快速发展。 三、大数据的特点 1、数据量大。 2、数据类型多。 3、处理速度快。 4、价值密度低。 四、大数据的计算模式 1、批处理计算。 2、流计算。 3、图计算。 4、查询分析计算。 大数据计算模式 批处理计算 MapRrduce 流计算 Spark 图计算 GoldenOrb 查询分析计算 Impala 五、大数据与云计算、物联网的关系 六、大数据应用。 来源: https://www.cnblogs.com/xihaifeng/p/11564277.html

如何申请阿里云服务器

空扰寡人 提交于 2019-11-30 05:46:16
如何申请阿里云服务器 1.注册阿里云账号 2.购买服务器 一、进入阿里云官网购买阿里云服务器 二、服务器包年购买 3.购买域名 4.配置操作系统和镜像(可通过更换硬盘方式,需要关闭服务) 5.解析域名(域名绑定主机ip) 6.域名备案(公安备案) 一、阿里云填表或公安网填表 二、拍照上传(首次填写个人资料后阿里云会寄送一个阿里云蓝色背景布,在背景布前面按要求拍摄半身照) 三、当地公安局填写备案(根据地区差异,有的地方可能不用去公安局备案) 7.配置服务端项目 8.项目上线后,将备案号备案标志,按要求放到网站底部 来源: CSDN 作者: shimh_凉茶 链接: https://blog.csdn.net/weixin_34403976/article/details/103245522

技术支持

坚强是说给别人听的谎言 提交于 2019-11-30 05:40:37
随心记是一款实用便捷高效的记账App。 可以记日常收支、旅行开支、工资收支、家庭收支等多种账目 1、三秒秒钟记账:极简的操作流程,让你3秒钟即可完成一笔记账操作 2、收支趋势:一目了然的图表,帮你快速分析收支的占比情况 3、数据超安全:登录账号后,记账数据实时同步在云端 4、记账提醒:不定时推送记账消息 5、生活规律的养成:可以帮您养成记账习惯的记账APP 联系电话:15850779653 来源: https://www.cnblogs.com/gaohe/p/11562880.html

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(7)

自作多情 提交于 2019-11-30 05:35:22
第四步:通过Spark的IDE搭建并测试Spark开发环境 Step 1 :导入Spark-hadoop对应的包,次选择“File”–> “Project Structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入: 点击“OK”确认: 点击“OK”: IDEA工作完成后会发现Spark的jar包导入到了我们的工程中: Step 2:开发第一个Spark程序。打开Spark自带的Examples目录: 此时发现内部有很多文件,这些都是Spark给我提供的实例。 在我们的在我们的第一Scala工程的src下创建一个名称为SparkPi的Scala的object: 此时打开Spark自带的Examples下的SparkPi文件: 我们把该文的内容直接拷贝到IDEA中创建的SparkPi中: 来源: oschina 链接: https://my.oschina.net/u/1791057/blog/318518

什么是公有云、私有云和混合云云桌面,看完后涨知识了

依然范特西╮ 提交于 2019-11-30 04:03:37
前不久听到有用户在抱怨说“我就想部署个 云桌面 而已,怎么还有公有云、私有云和混合云这么个说法的,搞得我都混淆了”,那么到底什么是公有云、私有云和混合云云桌面的呢,他们的优缺点又是怎样的呢? 1.什么是公有云云桌面? 公有云云桌面通常是指服务器是部署在大型IDC机房或者数据中心,用户无需在本地部署服务器,用户只需要租用这些公有云厂商的服务器和带宽资源,就可以通过云终端、PC或者平板电脑等设备访问服务器上的数据和虚拟桌面进行使用。 优点:除了通过网络提供服务外,用户只需支付他们使用的资源。此外,由于用户可以访问服务提供商的云基础架构,因此他们不必担心自己的安装和维护问题。用户只需要通过Internet就可访问数据和桌面,移动性强。 缺点:使用成本较高,虽然公有云云桌面无需部署本地服务器,但是它对带宽的要求较高,而当前带宽的成本相对来说是比较高的;数据安全性较低,数据都存储别人的服务器上,而且不同的企业共同使用这个服务器,数据安全无法得到保障。 2.什么是私有云云桌面? 所谓私有云云桌面是指用户为了最有效地控制数据,安全性和服务质量,在本搭建服务器和应用虚拟化的云桌面部署方式,企业内部搭建的服务器和虚拟桌面只供企业内部的员工使用,其他不想关的人是无法访问和使用的。 优点:提高了数据的安全性,数据都在本地服务器上存储,企业内部员工是唯一可以访问它的指定实体

腾讯云全面升级弹性计算产品序列,计算性能提升30%

*爱你&永不变心* 提交于 2019-11-30 03:48:23
近日,腾讯云召开发布会,宣布旗下弹性计算产品序列在技术和性能上全面升级,并发布多款全新计算实例。全新升级的计算产品序列整体性能提升30%,能够为用户提供更多元的弹性计算产品选择,满足产业互联网时代各行各业不断提升的计算需求。 同时,腾讯云还宣布自研的云计算操作系统VStation已经实现在单集群内调度超过10万台服务器,是业界首家达到单集群调度10万台服务器的云计算操作系统。 弹性计算产品整体性能提升30% 基于虚拟化、智能网卡等自研技术的持续进化,并深度整合最新一代硬件能力,腾讯云全新升级的弹性计算产品序列将整体计算性能提升了30%。 其中,通用计算序列能够为大多数场景提供高性价比的计算服务。全新升级的通用计算产品序列通过服务器硬件定制,结合腾讯云自研虚拟化技术,大幅降低硬件虚拟化带来的资源消耗,进而保证更强劲的计算能力。目前,腾讯云通用计算产品序列包括标准型、内存型、计算型、高IO型、大数据型等丰富类型。 黑石物理计算序列是腾讯云2016年在国内率先推出的云计算品类。上线三年来,黑石推出了240多项产品特性,实现超过30倍的规模增长,满足了直播、游戏、金融、制造等行业对高性能运算能力和专属独享资源的要求。全新升级的黑石将虚拟化下沉至智能网卡中实现,保证了计算资源完全无损耗的交付。同时,黑石具备的分钟级交付能力,也能够让用户快速从云端获取独享的物理计算资源。

来杭州云栖大会,全面了解企业如何实现云上IT治理

試著忘記壹切 提交于 2019-11-30 03:21:48
企业上云的现状与趋势 云计算,如今已经成为了像水和电一般关系到国计民生的国家基础设施。云计算为企业带了前所未有的资源交付效率和运维效率的提升,同时也用全新的技术帮助企业在新的价值网络中创造新的商业赛道、挖掘新的商业模式。越来越多的企业开始主动或被动地尝试使用云,而那些已经尝到云“甜头”的企业在加速上云节奏,不断将创新业务、非核心的企业业务、乃至企业核心业务逐步迁移上云。 企业的上云步骤,一般可分为“尝鲜”和“云化”两个阶段。 在“尝鲜”阶段,企业初始做云化,一般会从开发测试环境开始,或者选择企业的创新业务、非核心业务去尝试构建云原生应用,尝试云产品,对比不同云服务以及基础设施架构。 在“云化”阶段,企业对基础设施进行改造,在企业信息安全和成本控制允许的情况下,将更多业务迁移到云上来,既要兼顾企业云上业务发展的便捷、高效与速度,同时需要帮助企业在云上的安全管控、成本优化等做好保驾护航。 在“云化”阶段,随着企业云上业务量的增加、云上业务对企业的重要性或者核心程度的增加,对于有着多年内部 IT 管理业务和经验的企业来说,原来“深藏不露”的企业 IT 管理部门势必被推到云上管理的前台,配合业务部门,为企业在云上的资源购买和使用、云上业务应用或服务等提供云上 IT 运维管理和支持。随之而来的,还有企业的财务与安全合规部门

来杭州云栖大会,全面了解企业如何实现云上IT治理

人盡茶涼 提交于 2019-11-30 03:21:38
企业上云的现状与趋势 云计算,如今已经成为了像水和电一般关系到国计民生的国家基础设施。云计算为企业带了前所未有的资源交付效率和运维效率的提升,同时也用全新的技术帮助企业在新的价值网络中创造新的商业赛道、挖掘新的商业模式。越来越多的企业开始主动或被动地尝试使用云,而那些已经尝到云“甜头”的企业在加速上云节奏,不断将创新业务、非核心的企业业务、乃至企业核心业务逐步迁移上云。 企业的上云步骤,一般可分为“尝鲜”和“云化”两个阶段。 在“尝鲜”阶段,企业初始做云化,一般会从开发测试环境开始,或者选择企业的创新业务、非核心业务去尝试构建云原生应用,尝试云产品,对比不同云服务以及基础设施架构。 在“云化”阶段,企业对基础设施进行改造,在企业信息安全和成本控制允许的情况下,将更多业务迁移到云上来,既要兼顾企业云上业务发展的便捷、高效与速度,同时需要帮助企业在云上的安全管控、成本优化等做好保驾护航。 在“云化”阶段,随着企业云上业务量的增加、云上业务对企业的重要性或者核心程度的增加,对于有着多年内部 IT 管理业务和经验的企业来说,原来“深藏不露”的企业 IT 管理部门势必被推到云上管理的前台,配合业务部门,为企业在云上的资源购买和使用、云上业务应用或服务等提供云上 IT 运维管理和支持。随之而来的,还有企业的财务与安全合规部门