云计算

1. HADOOP背景介绍 1.1 什么是HADOOP HADOOP是apache旗下的一套开源软件平台 HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 HADOOP的核心组件有 HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架） 广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈 1.2 HADOOP产生背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。 Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期。 1.3 HADOOP在大数据、云计算中的位置和关系 云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化

随着云成为越来越多企业不可或缺的IT基础设施，为了满足不同的业务需求，许多企业存在多云并存的局面。而多云带来的问题也显而易见，包括多种云平台难以统一管理，资源运维效率大幅降低，企业成本居高不下等。 在这样的环境之下，要想让企业高效管理云计算资源，实现易上云、用好云、管好云的目标，一套运维简单、可一站式管理的跨云管理解决方案就显得尤为重要，由此，行云管家云管平台应运而生。 作为针对跨云管理量身打造的一站式解决方案，行云管家为企业提供了以下功能： 1、多云纳管、混合式管理 支持业界主流的公有云厂商和OpenStack、VMware等私有云设施，以及物理服务器、虚拟机、网络设备、存储设备等。 2、云资源全生命周期管理 对云资源从申请、创建、交付、运维以及最终的释放销毁，均可在一个主控台中获得全生命周期的管理，而无需分别登录不同的系统。 3、合规运维与审计 承担起用户在管理IT资产时的运维中枢、会诊平台、以及“事前授权、事中监控、事后审计”的黑匣子等职责。 4、成本分析与优化 多维度分析云资源的成本结构，并通过对应用负载进行数据挖掘分析，提供云资源的增减配优化建议 。 5、自动化运维 提供指令/脚本批量执行、批量文件分发与采集等特性。 6、工单系统 申请或销毁资源等业务流程，都能够通过电子工单完成。 在打造多云管理整体解决方案的战略下

近年来，在云计算和互联网的不断冲击下，传统堡垒机产品已无法满足企业用户的运维审计需求，亟需在技术架构、产品体验上进行升级换代，于是作为传统堡垒机功能超集的全面拥抱云计算的云堡垒机应运而生。在这个大趋势下，各类云堡垒机厂商如雨后春笋般涌现出来。在众多堡垒机厂商中，小编发现行云管家作为云堡垒机的代表，在短短三年的时间内就获得了七万多家企业级客户的认可。现整理归纳了行云管家堡垒机的产品优势如下： 1、全面拥抱云计算 行云管家堡垒机在满足传统IT资产的运维与审计的同时，全面拥抱云计算特别是公有云的发展趋势。全面支持业界主流公有云与私有云厂商。 和传统IT环境运维不同，绝大部分企业针对公有云资源的运维管理工作是通过互联网完成的，由此带来的是，传统的运维模式将存在严重的安全风险。而行云管家堡垒机拥有专利技术的内网访问机制，使您通过内网管理云主机，避免将不必要的管理端口与操作行为暴露到公网，实现安全、高效运维。 2、助力企业过等保2.0 行云管家堡垒机助力企业过等保2.0，其通过了有关部门的严格测试，获得了计算机信息系统安全产品身份鉴别（网络）类销售许可证，可助力企业通等保2.0。 3、采购成本低 行云管家堡垒机既有开箱即用的SaaS平台，也有私有部署形态的标准版、企业版等，具备非常灵活的阶梯报价，从免费的基础版到大型企业使用的旗舰版，支持按月购买、按年购买、一次性买断等

分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。优点如下： 分布式存储的六大优点 1. 高性能 一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。 2. 支持分级存储 由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。 3. 多副本的一致性 与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带

Docker简介 Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从Apache2.0协议开源。 Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。 容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。 Docker 从 17.03 版本之后分为 CE（Community Edition: 社区版） 和 EE（Enterprise Edition: 企业版），我们用社区版就可以了。 Docker官网：https://www.docker.com/ Docker的应用场景 Web 应用的自动化打包和发布。 自动化测试和持续集成、发布。 在服务型环境中部署和调整数据库或其他的后台应用。 从头编译或者扩展现有的 OpenShift 或 Cloud Foundry 平台来搭建自己的 PaaS 环境。 Docker 的优点 1、简化程序： Docker 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，便可以实现虚拟化。Docker改变了虚拟化的方式，使开发者可以直接将自己的成果放入Docker中进行管理。方便快捷已经是 Docker的最大优势，过去需要用数天乃至数周的 任务

一、为什么会产生RAID 1、客户要求高可靠性： 客户的数据最终存储到了磁盘，如SATA、SAS、SSD介质，如果磁盘损坏，数据不能丢失，怎么办？ 2、客户要求高性能： SATA盘一般为7200转，而SAS一般为10000转或15000转，如果客户希望磁盘性能更高、而价格又相对较低，怎么办？ 二、RAID应需求而生 1、数据多份写入，解决高可靠问题： 面对高可靠性的要求，我们想出了将同一份数据写到多个磁盘中，即使一个磁盘损坏也不会丢失数据。 2、数据同时写入、读取，解决高性能问题： 面对高性能的要求，我们想出了将数据并行写入磁盘，并行读取数据，基于原有的机械磁盘，IO得到了成倍的提升。 目前业内的RAID实现方式，有基于硬件卡实现的（通过在BIOS中进行配置），也有基于软件实现的（进行操作系统后再进行配置，如Linux的Madam配置）。 基于硬件实现的RAID性能更好，基于软件实现的RAID功能更丰富，业务厂商往往将两种实现方式进行结合，发挥不同方式的优势。 三、六种不同的RAID实现 1、Raid0写入、读取速度最快： 将数据分别写入不同的磁盘，将D0至D5的数据并行写入磁盘。缺点是不支持校验，只要一个磁盘坏，数据全部无法找回。 主要应用场景： 数据的缓存，如Photoshop的渲染缓存数据。 两块硬盘即可支持配置。 2、Raid1可靠性最高，恢复速度最快：

作者：何足道 转自： https://www.zhihu.com/question/21641778/answer/62523535 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 感谢作者，解释的很好理解，以做记录。 你一定听说过云计算中的三个“高大上”的：IaaS、PaaS和SaaS，这几个术语并不好理解。 不过，如果你是个吃货，还喜欢披萨，这个问题就好解决了! 一个“吃货”是怎样吃到披萨的呢? 1. 在家自己做 这真是个麻烦事，你的准备很多东西，发面、做面团、进烤箱。。。。。简单列一下，需要下图所示的一切： 2. 买好速食披萨回家自己做着吃 你只需要从披萨店里买回成品，回家烘焙就好了，在自己的餐桌上吃。和自己在家做不同，你需要一个pizza供应商。 3. 打电话叫外卖将披萨送到家中 打个电话，pizza就送到家门口。 4.在披萨店吃披萨 你什么都不需要准备，连餐桌也是pizza店的。 总结一下，吃货可以通过如下途径吃披萨： 好了，现在忘掉pizza! 假设你是一家超牛X的技术公司，根本不需要别人提供服务，你拥有基础设施、应用等等其它一切，你把它们分为三层： 基础设施(infrastructure)、平台(platform)和软件(software) ，如下图： 这其实就是云计算的三个分层，基础设施在最下端，平台在中间，软件在顶端

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> IT软件服务商所提供的传统企业软件系统大多基于Multi-Instance（多实例）架构，即对于每一个客户组织，都有一个单独的软件系统实例 为其服务；而搭建于云计算平台的软件系统则广泛采用了Multi-Tenancy（多租户）架构，即单个软件系统实例服务于多个客户组织。在Multi- Instance架构下，由于每个客户拥有自己的软件实例，所以不存在数据隔离问题，但是在Multi-Tenancy架构下，由于所有客户数据将被共同 保存在唯一一个软件系统实例内，因此需要开发额外的数据隔离机制来保证各个客户之间的数据不可见性并提供相应的灾备方案。 随着云计算技术的成熟，Multi-Tenancy不再是新鲜的概念，目前已经有几种成熟的架构来帮助系统实现数据隔 离：SharedSchemaMulti-Tenancy（下文简称为共享表架构）、SeparatedDatabase（下文简称为分离数据库架构）以 及SharedDatabaseSeparatedSchema（下文简称为分离表架构）。 •共享表架构： 即所有的软件系统客户共享使用相同的数据库实例和相同的数据库表，但可以通过类似于图3中的TenantID字段来区分数据的从属。 因为共享表架构最大化地利用了单个数据库实例的存储能力，所以这种架构的硬件成本非常低廉

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 这里的云计算多租户是指一个web应用，多个数据库。每一个租户对应着一个数据库。 数据库方面，简单分为一个基本库，记录着基本信息与租户的信息，还有租户数据库配置信息。N个租户库，这N个租户库，可能分布在一台服务器上，也可能分布在N台服务器上，可能两者兼有。所以在基本库中的租户的数据库所在服务器信息（下面称为数据源信息）与数据库信息。 Play的数据源配置，在conf/application.conf中，如： jpa.dialect=org.hibernate.dialect.MySQLDialect db.url=jdbc:mysql://basedbip:3306/pop?autoReconnect=true&useUnicode=true&characterEncoding=utf-8 db.driver=com.mysql.jdbc.Driver db.user=root db.pass=root db=pop db_01.url=jdbc:mysql://anotherdbip:3306/pop?autoReconnect=true&useUnicode=true&characterEncoding=utf-8 db_01.driver=com.mysql.jdbc.Driver db_01.user

实际上SAN、NAS、DAS、FC、ISCSI、FC-SAN、IP-SAN等并不是同一类别的概念。SCSI、FC、NAS、ISCSI等概念指的是存储设备类型，DAS、NAS、SAN等指的是存储系统的网络架构。大家常提到的、主流的存储系统网络架构有DAS、NAS、SAN三种网络结构。其中SAN网络环境中，因采用存储设备类型的不同又可以分为FC-SAN(采用光纤通道存储产品)和IP-SAN(采用ISCSI存储设备)。 存储设备类型介绍 存储设备类型是指通过采用SCSI、FC、TCP/IP，ISCSI等接口类型、数据传输协议、以及不同数据存储介质的存储设备。常见的存储设备类型可为SCSI存储、NAS存储、FC存储、iSCSI存储和磁带存储。 存储设备类型这个概念的核心是设备，指的是由存储介质、驱动器、控制器、供电系统、冷却系统等组成的一个整体。它独立与网络层设备和主机层设备，因此当提到存储设备类型的时候，不要涉及与存储设备连接的网络设备和主机。 存储设备的对外提供的接口是FC光纤通道，按照FC光纤通道协议传输数据的存储设备就是FC存储。存储介质为FC磁盘的存储被称为FC-FC存储。存储介质为SATA磁盘的存储被称为FC-SATA存储。 NAS是一种特殊的存储设备类型，虽然NAS对外提供IP接口，按照IP协议进行数据传输，但NAS最终提供给主机的是一个文件系统，SCSI存储