云计算

大数据，很明显从字面上理解就是大量的数据，海量的数据。大，意思就是数据的量级很大，不上TB都不好意思说是大数据。数据，狭义上理解就是12345那么些数据，毕竟计算机底层是二进制来存的，那么在大数据领域，数据就不仅仅包括数字这些，它可以是所有格式的东西，比如日志，音频视频，文件等等。 所以，大数据从字面上理解就是海量的数据，技术上它包括这些海量数据的采集，过滤，清洗，存储，处理，查看等等部分，每一个部分包括一些大数据的相关技术框架来支持。 当然了，关于这些只是大数据的边角料，数据资料是一直在更新完善的，大数据资料库是收集资料、传输资料、存储资料之后再挖掘资料、分析资料、展示资料，这一系列的步骤都是非常关键的，也是密不可分的。 都是需要有着庞大的数据来源，不仅如此，大数据和云计算也是有着非常密切的关系的，比如，大数据的分布式存储以及分布式计算都是云计算的重要技术。 大数据具有4大特征，也就是快速化、多样化、大量化以及价值高和密度低，快速化是指的互联网连接设备数量的增长为我们带来更高速数据的处理。 而多样化则是指的数据的来源多，格式也多，来源具体到生活中包括搜索引擎的信息来源、社交网络信息来源、通话记录等都是大数据信息的来源。 当然了，关于这些只是大数据的边角料，数据资料是一直在更新完善的，大数据资料库是收集资料、传输资料、存储资料之后再挖掘资料、分析资料、展示资料

一·大数据概述 随着信息技术发展的巨大变革，企业和学术机构纷纷加大技术、资金和人员投入，加强对大数据关键技术的研发与运用。 大数据的发展历程总体上划分为三个重要阶段：萌芽期、成熟期和大规模应用期。 二.大数据概念 大数据的4个特点：数据量大、数据类型繁多、处理速度快和价值密度低。 三.大数据与云计算、物联网的关系 大数据为云计算机提供了用武之地，云计算为大数据提供了技术基础。 物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑。 云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广阔的应用空间。 四.大数据处理架构Hadoop 1.Hadoop简介 Hadoop 是 Apache 旗下的一个开源分布式计算平台。是基于 Java 语言开发的，具有很好的跨平台性，并可以部署在一般的计算机集群中。 Hadoop 的核心是分布式文件系统 HDFS 和 MapReduce 。 HDFS 具有较高的读写速度、很好的容错性和可伸缩性，很好的保证了数据的安全性。 其中 YARN 是资源调动， MapReduce 是计算框架。 2.Hadoop的特性 高可靠性、高效性、高扩展性、容错性、成本低、运行在Linux平台上、支持多种编程语言。 3.Hadoop生态圈 /*图片来源于网络*/ 来源： https://www.cnblogs.com/sokodomo/p/11537695

一些公司依靠内部的IT基础设施控制公司情况，不必依赖第三方供应商，不用签长期合同。一些公司选择外包，将工作等搬到云端。 不过，将IT工作外包到云计算供应商可能会有些并发症。这就是为什么企业在签合同的时候必须保持谨慎。技术更新换代快，因此企业在选择云计算供应商时，必须要调查其是否能够跟得上技术的变化。 云计算另一个值得关注的问题是安全。因此，对小企业来说，选择一个合适的供应商非常重要。云计算提供商要有必要的业界记录，并且通过客户的引用或认证以展示其技术的成熟。对于企业来说，在最终签订长期合同之前最好能够先有个试用期。在试过过之后，企业才能够确定供应商的服务是否满足公司的标准。而一个合法、有经验的供应商将会同意这条件。在一般情况下，企业必须能够将云计算软件的性能与设定的目标进行比较。如果供应商的服务不符合既定的目标，这就不利于企业了。 决定拥有和管理自己IT设备的小型企业可能认为这样的决定不会损害公司。它未能意识到，随着时间的推移，这些设备及其部件将会慢慢损坏，从而导致系统崩溃或者使用延迟。如果企业拥有远程用户和其他外地办事处，这可能会带来更大的问题。不考虑这些，企业将投入更多的资金去升级设备和增加冗余，甚至可能聘请额外的IT支持人员。几年后新设备将贬值、损坏，从而形成一个循环。 企业家选择云计算服务能做出更好的预测IT预算。通常情况下，它将占据公司预算的一大部分，这不仅仅是昂贵的设备

PaaS Innovation 2017开幕在即 多项重磅发布 11月16日，小数在歌华大厦等你 机遇推动变革 云者，变换无极，十余年间，风头愈劲。PaaS作为云计算领域新“变量”，伴随容器、Mesos、Kubernetes、DevOps、微服务等开源技术和概念重塑PaaS领域，PaaS正打破桎梏不断革新，为传统企业和商业继续积蓄能量。 11月16日，中国开源云联盟WG6容器工作组和数人云联合主办的PaaS Innovation 2017，构建灵动新IT开幕在即。大会诚邀十数位业界领袖、技术大咖、传统客户齐聚，共同探讨开源、PaaS前沿科技与趋势，权威发布企业级容器云技术标准、激辩PaaS如何成为云计算市场的新变量。 大咖齐论PaaS 数人云CEO王璞解读谷歌PaaS起源，推演国内外云计算领域PaaS、如何理解PaaS Innovation，以及国内PaaS落地现状。 清华大学交叉信息学院助理院长徐葳将给大家带来智能化数据中心的最新成果：PaaS的发展离不开IaaS，如何通过大数据、深度学习等技术和方法，增强基础设施的灵活性，系统自动处理各种事件，拥有更加智能的数据中心。 云计算在企业的互联网+新兴业务中得以加速度成长，容器逐渐成熟，招银云创现身说法：如何摘取容器这枚硕果，让容器技术在银行行业云快速落地以及在Fintech野蛮生长的今天，如何应对传统业务与新兴场景并存的双重挑战

公司开发项目时，忘记在一开始忽略idea的配置文件，导致每次pull和push的时候，总是出问题。后面再想通过gitignore文件忽略配置文件的时候，由于已经提交过.idea配置文件了，所以忽略不产生效果。在网上多次查阅之后，发现并没有傻瓜式教程，现在写一下自己的解决步骤 1、先确保自己本地仓库和云端仓库一致，我这里是pull了云端的数据到本地 2、使用idea的 自带的控制台敲命令 3、git rm --cached 需要忽略的文件或者文件夹。如果是文件夹，则使用git rm -r --cached 文件夹 4、确认当前项目下有.gitignore文件，如果没有，则在其他位置复制一个出来，如果已经有了，则在gitignore文件中添加忽略规则，如果之前已经写好了忽略规则，那么就随便改一下代码位置 5、将项目commit(这个时候，忽略规则已经生效了)，然后push到云端即可 来源： https://blog.csdn.net/lin229093041/article/details/100934607

一、购买腾讯云之前根据个人业务需要选购合适的 云服务器 ， 如果想省钱的话 点我领取 腾讯云千元代金券，节约上云成本。 点我参加 腾讯云秒杀活动，性价比也很高。 腾讯云账号实名认证，买域名，域名实名认证， 点我打开腾讯云首页》产品》热门》云服务器，选好cpu、内存、带宽，地域，这几个是主要的。其他都可以默认选择。 付款前记得勾选代金券，可以省钱。 买完了腾讯云会发站内信、手机 短信 通知。 然后开始 网站备案 ，备案通过后可以开始建站。 二、登陆控制台 1、 点我登陆 腾讯云账号之后，在腾讯云首页右上角，点击控制台 进去看到服务界面，腾讯云的控制台比较容易看懂。听我的指引在可以搜索你需要的云产品 2、以云服务器为例，点击进入后如下图： 实际常用的都在红框中了。 点击实例就看到你已经买到的服务器了； SSH密钥是用于登陆ssh用的密钥； 安全组用来开通端口； 右侧上面的地域要先选择你购买过的地域，才能看到对应的服务器。有同学看不到服务器就是因为没选对地域； 右侧中间就是服务器的详细情况了。能用到的是公网IP，还有最右侧的登陆是网页端ssh； 更多包含以下内容，这里是以后会经常用到的内容，大家要记住这个入口。 3、安全组 在控制台左侧点击安全组，右侧上面选择地域，看到有2个已有的安全组。一个是系统默认的，一个是正在用的（已经关联1个实例，说明是在用的） 点击最右侧的修改规则。

原视频地址在这儿： https://www.youtube.com/watch?v=uIcqeP7MFH0 视频中介绍了tf.data设计的一些原则和一些基本用法。设计的三个原则： 1. 快速高效 tf.data可以在每秒读取13000张图片， 官网 上有一页专门介绍输入数据pipeline的效率。输入输入的pipeline分为以下三步（ETL） 分别是从数据源头处读取数据（Extract）（比如内存，磁盘，远程服务器，云端）、对数据做一系列的变换（Transform）、载入CPU或者GPU（Load）等等，下面是一个例子，ETL分别代表这三个步骤： 小技巧 如果从云端或者多个来源读取数据，很显然并行读取可以提升读取效率，这个操作可以通过简单的num_parallel_reads参数来完成，如： tf.data.TFRecordDataset(files, num_parallel_reads=32) 利用contrib模块的一些函数，提高数据transform阶段的速度，这些函数可以将transform阶段的多个不同操作融合到一起来做，以提高运行效率，如： dataset = dataset.apply(tf.contrib.data.shuffle_and_repeat(10000, NUM_EPOCHS)) dataset = dataset.apply(tf.contrib

| 导语 9月21日，北京北邮科技酒店，云+社区邀您参加《“小程序·云开发” 北京站》沙龙活动，聚焦小程序·云开发的技术应用实践，直面云开发技术应用实践专家，共探前沿，实现价值。 小程序·云开发已经成为技术领域最流行的开发方式，并且已经在各个不同的领域进行了实践应用。那么这样一种流行的开发模式背后有哪些技术支撑呢？它在不同领域的实践情况是怎样的？又有哪些实践方向可以探索呢？ 本期沙龙腾讯云联合猫眼、即速应用、白鹭引擎等企业，将从小程序·云开发后台技术、云开发实时数据推送实践、云开发AI智能客服实践等方面揭秘云开发应用实践，带来更多技术实战分享。现场设有Workshop，通过现场手把手实操，教你快速构建一款SCRM小程序。 活动信息 活动指南 时间 2019年9月21日（周六） 13:30-18:00 地点 北邮科技酒店，四层多功能厅（北京市海淀区西土城路10号(北京邮电大学西门北侧)） 公共交通： 1，乘坐地铁13号线，大钟寺地铁站下车，步行约900米 2，乘坐579/510等，在杏坛路北口苏路公交站下车，步行约500米 报名渠道 扫描上方二维码报名 现场奖品 活动现场设置了抽奖环节 大奖将在活动结束后抽出 腾讯定制礼品等你来拿！ 一等奖：1名 腾讯听听 二等奖：2名 小米随身听音响 三等奖：5名 腾讯传 我们还为大家准备了云+社区定制水杯 数量有限，先到先得哦！ 技术交流

1、节约成本 有了云计算，企业不再需要付出大量的成本购买磁盘存储空间，也就不再有购买昂贵的软件安装和升级的需要。只在需要使用时才支付相关应用程序的费用，而且包含在其中的许多服务都是免费的，可以很容易地进行扩展以满足需求，并根据需求的高峰或低谷进行调整。 这种支付方式可以帮助企业节省很多钱，按使用付费的方式减少（或在某些情况下甚至可以消除）内部服务器的维护成本。 2、易于使用 云服务器能够很简单、容易的进行启动和运行，不必下载或安装任何软件；相对典型的硬盘驱动器和服务器限制，云还提供了几乎无限的存储容量，如果企业需要更多的存储空间，也支持随时进行扩展；最后，由于企业的业务数据存储在云中，组织内部员工将能够几乎在任何地方利用有互联网连接的设备访问软件和数据。 3、增加容量和自动化 较之典型的硬盘驱动器和服务器的限制，云服务提供了几乎无限的存储容量，并且扩展更为灵活，如果企业需要更多的云存储，你可以随时升级。此外，云服务保持软件的最新版本，所以你不必担心自己要进行软件更新。文件同步所有设备，以及文件备份也完全自动化。你的数据将会在目前使用的所有设备上持续保持一致。 4、敏捷性、灵活可扩展 云计算比以往的计算方法提供了更多的灵活性和敏捷性。利用云主机，员工将能够从家里、办公室、在路上、甚至是从他们的智能手机上访问信息。工作人员也可以协同工作的文件和档案，甚至他们可以不用在同一个房间。 此外

Portworx，容器存储与数据管理专业解决方案提供商，对其行业领先的容器原生存储解决方案Portworx Enterprise进行了更新，使其企业用户能够在Kubernetes上对关键应用程序进行扩展、备份和恢复。PX-Backup和PX-Autopilot均用于实现存储容量管理。Portworx通过PX-Backup进入企业级备份市场，使企业用户能够方便而安全地对其所有的Kubernetes应用备份进行云原生方式的管理。 PX-Backup在容器领域内的独特性在于它支持使用单个命令进行单个Pod、多个Pod以及整个Kubernetes NameSpace的备份，即便企业使用的是Microsoft Azure、AWS或谷歌存储。 此外， 用于进行存储容量管理的PX-Autopilot还使企业能够采用智能化的方式管理存储，仅在需要时扩充容量，从而削减50%的云端存储成本，消除长期以来的云端存储在配置时即收费，而非使用时才收费的问题。 在企业认识到云原生技术对于其数字化转型的巨大作用之后，容器技术被更加广泛的使用。Gartner预测认为，到2022年，超过20%的企业存储容量都将用于支持容器工作负载，而这一数字现在还未达到1%。这样一来，企业就需要容器原生存储平台来解决Kubernetes上运行容器应用中的各种问题。此次更新奠定了Portworx的行业领先地位：