资源池

https://blog.csdn.net/wyz0516071128/article/details/81219342 尽管二者在server端采用了一致的并发模型，但在任务级别（特指 Spark任务和MapReduce任务）上却采用了不同的并行机制：Hadoop MapReduce采用了多进程模型，而Spark采用了多线程模型。 总体上看，Spark采用的是经典的scheduler/workers模式， 每个Spark应用程序运行的第一步是构建一个可重用的资源池，然后在这个资源池里运行所有的ShuffleMapTask和ReduceTask（注 意，尽管Spark编程方式十分灵活，不再局限于编写Mapper和Reducer，但是在Spark引擎内部只用两类Task便可表示出一个复杂的应用 程序，即ShuffleMapTask和ReduceTask），而MapReduce应用程序则不同，它不会构建一个可重用的资源池，而是让每个 Task动态申请资源，且运行完后马上释放资源。 来源： https://www.cnblogs.com/gouhaiping/p/12508464.html

SQL Server2008 新特性 Resource Governor Sql Server2008 推出了已经有一段时间了，这里给大家介绍一下 Sql Server2008 的一个很不错的新特性，Resource Governor。 相信大家都遇到过，一个服务器上面运行多个数据库的情况，如果1个数据库占用资源过多，很可能直接导致另外一个数据库无法处理，直到超时的情况。过去这种情况基本无法处理（当然不排除使用三方程序处理的方法）。嘿嘿，在新的Sql Server 2008 中，就可以完美的解决这个问题了。答案就是Resource Governor。 Resource Governor 可以通过创建资源池（Resource Pool）的方式，对不同资源池分别分配服务器资源（CPU，内存），这里设置的是，资源池最繁忙时期的分配值。简单的说，现在我有两个数据库，DataBaseA和DataBaseB，那么我们可以创建两个资源池PoolA和PoolB，给PoolA分配10%的CPU和内存，PoolB分配90%的CPU和内存。那么当DataBaseA和DataBaseB都繁忙的时候，系统会分别分配相应的资源给他们，让他们都能够完成自己的工作（当然，性能可能有所下降，毕竟只使用10%的资源），从而避免了高并发性时，资源独占的情况。很好吧，下面我们就通过一个实例来给大家演示一下。 1.

QPS:即Queries Per Second的缩写，每秒能处理查询数目。是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 TPS:即Transactions Per Second的缩写，每秒处理的事务数目。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数，最终利用这些信息作出的评估分。 RPS: 即Requests Per Second的缩写，每秒能处理的请求数目。等效于QPS 吞吐量: 每秒的响应请求数，也即是最大吞吐能力 计算关系： QPS = 并发量 / 平均响应时间 并发量 = QPS * 平均响应时间 举例: 根据以上计算关系，我们来预估下单日访问量在 1000W 需要多大的QPS来支持： 通常情况下，80% 的访问量集中在 20%的时间，算一下这 1000w pv实际需要机器达到多少qps才能满足， qps = (1000w * 0.8) / (24 * 3600 * 0.2) qps = 462.9 JedisPool资源池优化建议: 1、maxTotal：最大连接数 以一个例子说明，假设: 一次命令时间（borrow|return resource + Jedis执行命令(含网络) ）的平均耗时约为1ms

云计算在眼下的中国呈现出冰火两重天的怪象：这边厢，云服务提供商们个个摩拳擦掌、热情高涨，大家恨不得从“万亿云计算市场”蛋糕中分得一大块，却鲜有人脚踏实地做产品；那边厢，用户们迷茫、观望者甚多，大家纷纷捂紧各自的钱袋，弱弱地问：“云计算到底是什么东西？能给我带来什么好处？” 那么想要学习云计算首先你就必须要明白：云计算到底是什么？ 计算设备也称为计算资源，计算资源包括 CPU、内存、硬盘和网络。而在机房中，磁盘只是存储大类中的一种，存储还包括磁带库、阵列、SAN、NAS 等，这些统称为存储资源。另外，CPU、内存只是服务器的部件，我们统一用服务器资源来代替 CPU 和内存资源的说法。 广义的计算资源还包括应用软件和人力服务，如果不特别声明，那么后续章节中提到的计算资源就是指服务器、存储、网络、应用软件和人力服务。不同于传统的计算机，云计算引入了一种全新的方便人们使用计算资源的模式，即云计算能让人们方便、快捷地自助使用远程计算资源。 计算资源所在地称为云端（也称为云基础设施），输入/输出设备称为云终端。云终端就在人们触手可及的地方，而云端位于“远方”（与地理位置远近无关，需要通过网络才能到达），两者通过计算机网络连接在一起。 云计算具有 5 个基本特征： 1）自助服务 消费者不需要或很少需要云服务提供商的协助，就可以单方面按需获取云端的计算资源。 2）广泛的网络访问

原文链接：https://mp.weixin.qq.com/s/RT7QNQNQ0NRsAmwUMtw6ig 编者荐语： Spark社区从2.3版本开始，已经可以很好的支持跑着Kubernetes上了。这对于统一资源池，提高整体资源利用率，降低运维成本（特别是技术栈归一）有着非常大的帮助。这些趋势是一个大数据人不得不重视的信号，所以一起提前了解并考虑起来吧！ 以下文章来源于容器魔方 ，作者tsjsdbd 大数据邂逅云计算 相信玩Spark的你已经注意到最新的Spark版本已经支持不做任何修改就可以直接跑在K8s上了，即以Kubernetes容器集群作为Cluster Manager的实现。 其实早在2017年底Spark 2.2版本开始的时候，Spark社区就开始合入用K8s管理Spark集群的能力，只是那时候功能上还没有很完善。加之彼时Kubernetes还没有像现在这么普及，被广泛地接受成为应用基础设施层。经过了2年了持续迭代，Spark on Kubernetes已经成为帅气的小伙，大家可以围观起来了。 其实，大数据和云计算一直分属两个不同的领域。大数据主要关注怎么将数据集中起来，挖掘数据的价值；云计算主要关注怎么更高效地使用资源，提升资源的利用效率。当大数据发展到一定阶段的时候，它就会和云计算不期而遇。 现状并不美丽 在技术层面上

背景 Kubernetes作为通用的容器编排系统，承载了广泛的应用和场景，包括CI／CD,数据计算，在线应用，AI等，然而由于其通用性和复杂性，管理一个kubernetes集群对于很多用户而言还是充满挑战的，主要体现在： 学习成本高； 集群运维管理成本高，包括节点管理、容量规划，以及各种节点异常问题的定位； 计算成本在很多场景中没有达到最优，比如对于一个定时运行Jobs的集群，长期持有资源池对于用户来说是浪费的行为，资源利用率不高。 Serverless Kubernetes是阿里云容器服务团队对未来kubernetes演进方向的一种探索，通过对kubernetes做减法，降低运维管理负担，简化集群管理，让kubernetes从复杂到简单。 对Kubernetes集群做减法 无节点管理 我们相信未来用户会更加关注应用的开发，而不是基础设施的维护。体现在kubernetes集群中，我们希望用户能够关注在pod/service/ingress/job等应用编排语义上，对底层node则可以减少关注。 无需管理节点也可以显著降低集群的运维管理成本，经统计kubernetes常见的异常问题中大多数与节点相关，比如Node NotReady问题，也无需担忧Node的安全问题，以及基础系统软件的升级和维护。 在ASK集群中，我们使用虚拟节点virtual-kubelet代替ecs节点

在中国大数据专家委员会成立大会上，委员会主任怀进鹏院士用一个公式描述了大数据与云计算的关系：G=f(x)。x是大数据，f是云计算，G是我们的目标。也就是说，云计算是处理大数据的手段，大数据与云计算是一杖硬币的正反面。大数据是需求，云计算是手段。没有大数据，就不需要云计算。没有云计算，就无法处理大数据。 事实上，云计算(Cloud Computing)比大数据“成名”要早。2006年8月9日，谷歌首席执行官埃里克·施密特在搜索引擎大会上首次提出了云计算的概念，并说谷歌自1998年创办以来，就一直采用这种新型的计算方式。 那么，什么是云计算? 刘鹏教授对云计算给出了长、短两种定义。长定义是：“云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。”短定义是：“云计算是通过网络按需提供可动态伸缩的廉价计算服务。 这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无须人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无须为烦琐的细节而烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。云计算的核心理念是资源池，这与早在2002年就提出的网格计算池

　　云计算与数据中心如何“联姻” 　　在云服务开始得到广泛采用的同时，数据中心似乎即将走向末路。其实，从云计算和数据中心的技术角度来看，云平台的灵活得益于数据中心等基础设施的不断发展；而公有云和私有云基础设施，在缓解内部数据中心难题方面也发挥出巨大作用。它们之间的发展既相互促进又互为载体，这使云计算和数据中心今日的关系更像是一场“联姻”。 　　云计算、数据中心如何“联姻” 　　云计算和数据中心其实已经算是“联姻”了，不管是我们在谈论数据中心还是云计算的时候，都会把另一方作为非常重要的载体。数据中心要想为用户提供高可用性的服务就必要借助云平台的灵活部署方式。而云计算服务也必须建立在数据中心等硬件平台上。 　　云计算数据中心本质上由云计算平台和云计算服务构成。云计算服务包括通过各种通信手段提供给用户的应用、软件、工具以及计算资源服务等；云计算平台包括用来支撑这些服务的安全可靠和高效运营的软硬件平台。通过云计算平台将一个或多个数据中心的软硬件整合起来，形成一种分层的虚拟计算资源池，并提供可动态调配和平滑扩展的计算、存储和网络通信能力，用以支撑云计算服务的实现。 　　云计算平台是云计算中心的内部支撑，处于云计算技术体系的核心。它以数据为中心，以虚拟化和调度技术为手段，通过建立物理的、可缩放的、可调配的、可绑定的计算资源池，整合分布在网络上的服务器集群、存储群等。 　

本文整理自华胜天成云计算研发与产品中心总经理李明军在“TF中文社区成立暨第一次全员大会”上的演讲。更多会议资料，请在公众号后台回复“成立大会”获取。 华胜天成云计算研发与产品中心总经理李明军 非常高兴有机会跟大家分享，华胜天成在云计算开源网络落地方面的经验。 我们接触Tungsten Fabric是在2019年上半年，到现在有半年多的时间，非常欣喜地看到这样一个出色的解决方案能够放到社区里来。 企业用户需求：开放、异构、场景化 在过去的十年里面，我们看到云计算从一个概念，到现在成为一个主流的架构。在这个过程里，我们的客户对云计算技术架构的需求，以及功能的期望，也在发生着变化。 对于中大型的企业市场来说，需求由最初的异构，演变成后来的异构混合，到今天变成了异构混合多云的管理需求——在基础设施层面，有桌面云，以虚拟化形态存在的各种类型的资源池，还有各种公有云的资源池，公有云的应用，都已经进入到中大型的企业的IT环境里面。企业需要在这样一个异构混合多云的环境里面，找到一个集成的、直接服务于业务的基础设施。 这就带来一个非常切实的需求，我们总结了三个词：开放、异构、场景化。 怎么来理解开放？与开放相对应的，就是在前期的时候很多私有的解决方案，或者由单一厂商主导的解决方案，带来的就是对功能扩展和商务合作上的限制。 异构的情况出现在很多层面，比如历史的IT架构与现有的应用系统和IT基础设施

作者 | 贤维 阿里巴巴高级技术专家 导读 ：Serverless Kubernetes 是阿里云容器服务团队对未来 Kubernetes 演进方向的一种探索，通过对 Kubernetes 做减法，降低运维管理负担，简化集群管理，让 Kubernetes 从复杂到简单。 背景 Kubernetes 作为通用的容器编排系统，承载了广泛的应用和场景，包括 CI／CD，数据计算，在线应用，AI 等，然而由于其通用性和复杂性，管理一个 Kubernetes 集群对于很多用户而言还是充满挑战的，主要体现在： 学习成本高； 集群运维管理成本高，包括节点管理、容量规划，以及各种节点异常问题的定位； 计算成本在很多场景中没有达到最优，比如对于一个定时运行 Jobs 的集群，长期持有资源池对于用户来说是浪费的行为，资源利用率不高。 对 Kubernetes 集群做减法 无节点管理 我们相信未来用户会更加关注应用的开发，而不是基础设施的维护。体现在 Kubernetes 集群中，我们希望用户能够关注在 pod/service/ingress/job 等应用编排语义上，对底层 node 则可以减少关注。 无需管理节点也可以显著降低集群的运维管理成本，经统计 Kubernetes 常见的异常问题中大多数与节点相关，比如 Node NotReady 问题，也无需担忧 Node 的安全问题