应用虚拟化

导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。希望通过对本文的讨论，读者可以得到一个有章可循、可实际落地的实时数据平台构建方案。 一、相关概念背景 1.1 从现代数仓架构角度看待实时数据平台 现代数仓由传统数仓发展而来，对比传统数仓，现代数仓既有与其相同之处，也有诸多发展点。首先我们看一下传统数仓（图1）和现代数仓（图2）的模块架构： 图1 传统数仓 图2 现代数仓 传统数仓大家都很熟悉，这里不做过多介绍，一般来说，传统数仓只能支持T＋1天时效延迟的数据处理，数据处理过程以ETL为主，最终产出以报表为主。 现代数仓建立在传统数仓之上，同时增加了更多样化数据源的导入存储，更多样化数据处理方式和时效（支持T＋0天时效），更多样化数据使用方式和更多样化数据终端服务。 现代数仓是个很大的话题，在此我们以概念模块的方式来展现其新的特性能力。首先我们先看一下图3中Melissa Coates的整理总结： 在图3 Melissa

1、 VMware SDDC VMware 软件定义数据中心（software defined dataCenter，SDDC）,包括了从最底层的VMware vSphere、软件定义存储、软件定义网络、云计算平台等多个组件。VMware vSphere是业界领先的虚拟化平台，能够通过虚拟化纵向扩展和横向扩展应用、重新定义可用性和简化虚拟数据中心，最终可实现高可用、恢复能力强的的按需基础架构，这是任何云计算环境的理想基础。同时可以降低数据中心成本，增加系统和应用的正常运行时间，以及显著简化IT运行数据中心的方式。 如下图所示，展示了完整的VMware vSphere虚拟化平台 1、VMware vSphere概念 VMware vSphere是VMware公司开发的虚拟化平台，是VMware软件定义数据中心的基础。 （1）VMware vSphere 使用虚拟化将单个数据中心转换为包括 CPU、存储和网络资源的聚合计算基础架构。VMware vSphere 将这些基础架构作为一个统一的运行环境来管理，并提供工具来管理该环境中的数据中心。 （2）VMware vSphere 堆栈包括虚拟化、管理和接口层。vSphere 的两个核心组件是 ESXi 和 vCenter Server。ESXi 虚拟化平台用于创建和运行虚拟机和虚拟设备。vCenter Server 是管理平台

虚拟化 什么是虚拟化   在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的架设方式，地域或物理组态所限制。一般所指的虚拟化资源包括计算能力和资料存储。   在实际的生产环境中，虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用，透明化底层物理硬件，从而最大化的利用物理硬件 对资源充分利用   虚拟化技术种类很多，例如：软件虚拟化、硬件虚拟化、内存虚拟化、网络虚拟化(vip)、桌面虚拟化、服务虚拟化、虚拟机等等。 虚拟化种类 全虚拟化架构(寄居架构) 虚拟机的监视器（hypervisor）是类似于用户的应用程序运行在主机的OS之上，如VMware的workstation，这种虚拟化产品提供了虚拟的硬件。 硬件层虚拟化(裸金属架构)   硬件层的虚拟化具有高性能和隔离性，因为hypervisor直接在硬件上运行，有利于控制VM的OS访问硬件资源，使用这种解决方案的产品有VMware ESXi 和 Xen server   Hypervisor是一种运行在物理服务器和操作系统之间的中间软件层,可允许多个操作系统和应用共享一套基础物理硬件

1.作业要求： 阅读文章《The Road to SDN: An Intellectual History of Programmable Networks》，并根据所阅读的文章，回答以下两个问题： 1.过去20年中可编程网络的发展可以分为几个阶段？每个阶段的贡献是什么？ 2.网络虚拟化与SDN的关系？ 作业博客链接： http://edu.cnblogs.com/campus/fzu/fzusdn2019/homework/10094 2.问题回答： (1)过去20年中可编程网络的发展可以分为几个阶段？每个阶段的贡献是什么？ 答：在过去20年中可编程网络的发展可以分为以下三个阶段： 主动网络阶段（从20世纪90年代中期到21世纪初） 贡献：它在网络中引入了可编程功能，实现了更大的创新。 ​ 在20世纪90年代中期，由于网络协议标准化过程的缓慢，一些网络研究人员采用了一种开放网络控制的替代方法，大致是基于对独立PC重新编程相对容易的类比。具体地说，传统网络在任何意义上都不是“可编程”的，主动网络代表了一种激进的网络控制方法，通过设想一个编程接口（或网络API）来公开各个网络节点上的资源（例如，处理、存储和数据包队列），并支持构建应用于子集的定制功能，主动网络研究计划探索了传统互联网协议栈通过IP或异步传输模式（ATM）提供服务的根本替代方案。 控制和数据平面分离阶段

一、案例概述 为了方便对公司办公计算机桌面系统的管理，公司需要搭建一套桌面虚拟化平台。公司运维工程师决定使用Cirtix桌面 虚拟化解决方案。 Citrix XenServer服务器虚拟化系统通过更快的应用交付、更高的IT资源可用性和利用率，使数据中心变得更加灵活、高效。在提供关键工作负载（操作系统、应用和配置）所需的先进功能的同时，也不会牺牲大规模部署必需的、易于操作的特点。 二、案例前置知识点 1、桌面虚拟化介绍 桌面虚拟化是指将计算机的桌面进行虚拟化，以达到桌面使用的安全性和灵活性，可以通过任何设备，在任何地点、任何时间访问在网络上的属于用户个人的桌面系统。如下图： 2、XenServer XenServer是由美国Citrix公司推出的一种服务器虚拟化平台，其功能强大、丰富，具有卓越的开放性架构、性能和存储集成。它是基于开源Xen Hypervisor的免费虚拟化平台，该平台引进了多服务器管理控制台XenServer，具有强大管理能力。 安装XenServer硬件要求如下： CPU：一个或多个x86_64位CPU，最低1.5GHz，建议2GHz以上或更快的多核CPU。 内存：最低2GB，建议4GB或更多。 硬盘：本地存储（PATA、SATA、SCSI），最低46GB，建议70GB磁盘空间。 网卡：100Mb/s或更快的NIC。 3、XenDesktop

导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。希望通过对本文的讨论，读者可以得到一个有章可循、可实际落地的实时数据平台构建方案。 拓展阅读： 如何设计实时数据平台（技术篇） 一、相关概念背景 1.1 从现代数仓架构角度看待实时数据平台 现代数仓由传统数仓发展而来，对比传统数仓，现代数仓既有与其相同之处，也有诸多发展点。首先我们看一下传统数仓（图1）和现代数仓（图2）的模块架构： 图1 传统数仓 图2 现代数仓 传统数仓大家都很熟悉，这里不做过多介绍，一般来说，传统数仓只能支持T＋1天时效延迟的数据处理，数据处理过程以ETL为主，最终产出以报表为主。 现代数仓建立在传统数仓之上，同时增加了更多样化数据源的导入存储，更多样化数据处理方式和时效（支持T＋0天时效），更多样化数据使用方式和更多样化数据终端服务。 现代数仓是个很大的话题，在此我们以概念模块的方式来展现其新的特性能力。首先我们先看一下图3中Melissa Coates的整理总结： 在图3