存储服务器

一.背景 　　2003年，Google发表了“The Google File System”的论文。这个分布式文件系统简称GFS，它使用商用硬件集群存储海量数据。文件系统将数据在节点之间冗余复制，这样的话，即使一台存储服务器发生故障，也不会影响数据的可用性。它对数据的流式读取也做了优化，可以边处理边读取。 　　不久，Google又发表了"MapReduce:Simplified Data Processing on Large Clusters"的论文。MapReduce是GFS架构的一个补充，因为它能够充分利用GFS集群中的每个商用服务器提供的大量CPU。MapReduce加上GFS形成了处理海量数据的核心力量，包括构建Google的搜索索引。 　　不过，两个系统都缺乏实时随机存取数据的能力【这意味着尚不足以处理Web服务】。GFS的另一个缺陷是，它适合存储少许非常大的文件，而不适合存储数量众多的小文件。因为文件的元数据信息最终要存储在主节点的内存中，文件越多主节点的压力越大。 　　因此，Google尝试去找到一个能够驱动交互式应用的解决方案，例如，Google邮件或Google分析，能够同时利用这种基础结构、依靠GFS存储的数据冗余和数据可用性较强的特点。存储的数据应该拆分成特别小的条目，然后由系统将这些小记录聚合到非常大的存储文件中，并提供一些索引排序

作者：刘超 转自【刘超的通俗云计算】 什么是云计算 早在十年前，市场上就出现了很多和云计算相关的岗位，当时正是云计算技术最火热的时代，不管是BAT还是华为等企业都开始布局云计算，于是OpenStack研发、容器研发、底层开发等相关岗位相应地也越来越多，虽然这几年大数据和AI的风头已经完全压过了云计算，但是这一门技术仍然在现如今的技术体系中占有很重要的位置。那么，到底什么是云计算，就是我们每一个要学习云计算技术的朋友要了解的事情了，根据百度百科的介绍 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 [2] 思维导图 云计算的发展史 物理机时代 云计算的整个过程，用一个词来讲就是“分久必合，合久必分”。 云计算其实主要解决了四个方面的内容：计算，网络，存储，应用。前三者是资源层面的，最后是应用层面的。 计算是CPU和内存，为啥

作者：刘超 转自【刘超的通俗云计算】 什么是云计算 早在十年前，市场上就出现了很多和云计算相关的岗位，当时正是云计算技术最火热的时代，不管是BAT还是华为等企业都开始布局云计算，于是OpenStack研发、容器研发、底层开发等相关岗位相应地也越来越多，虽然这几年大数据和AI的风头已经完全压过了云计算，但是这一门技术仍然在现如今的技术体系中占有很重要的位置。那么，到底什么是云计算，就是我们每一个要学习云计算技术的朋友要了解的事情了，根据百度百科的介绍 大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 [2] 思维导图 云计算的发展史 物理机时代 云计算的整个过程，用一个词来讲就是“分久必合，合久必分”。 云计算其实主要解决了四个方面的内容：计算，网络，存储，应用。前三者是资源层面的，最后是应用层面的。 计算是CPU和内存，为啥

9.1 会话跟踪的需求 HTTP是无状态协议： 协议的状态是指下一次传输可以“记住”这次传输信息的能力，无状态是指 同一个会话（ 注意什么叫同一个会话 ）的连续两个请求互相不了解 ，当浏览器发送请求给服务器的时候，服务器响应，但是同一个浏览器再发送请求给服务器的时候，他会响应，但是他不知道你就是刚才那个浏览器， 每一次请求和响应都是相对独立的。 在客户端与服务器进行动态交互的Web应用程序出现之后， HTTP无状态的特性严重阻碍了这些应用程序的实现，毕竟交互是需要承前启后的，简单的购物车程序也要知道用户到底在之前选择了什么商品 。 于是，两种用于保持HTTP连接状态的技术就应运而生了，一个是Cookie，而另一个则是Session Cookie是通过客户端保持状态的解决方案。 从定义上来说，Cookie就是由服务器发给客户端的特殊信息，而这些信息以文本文件的方式存放在客户端，然后客户端每次向服务器发送请求的时候都会带上这些特殊的信息，有了Cookie这样的技术实现，服务器在接收到来自客户端浏览器的请求之后，就能够通过分析存放于请求头的Cookie得到客户端特有的信息，从而动态生成与该客户端相对应的内容。 与Cookie相对的一个解决方案是Session，它是通过服务器来保持状态的。 需要在这里明确一下Session的含义。首先，我们通常都会把Session翻译成会话

简单来说，Session就是服务器给客户端的一个编号，当一台web服务器运行时，可能 是有多个用户都在浏览这台服务器上的网站，当每个用户首次与这台服务器建立连接时，它就与这个服务器建立了一个Session，同时服务器就会自动为其分 配一个SessionId,用以标识这个用户的唯一身分，这个Session就是有服务器随机产生的一个由24个字符组成的字符串。 这个唯一的SessionId还是有很大的实际意义，当一个用户提交表单时，浏览器就会将用户的SessionId自动附加在HTTP头信息中，当服务器 处理完这个表单后，就会将结果返回给SessionId所对应的用户。 如下是Web.config如何配置Session的： <configuration> <system.web> <sessionState mode=" Off | InProc | StateServer | SQLServer " cookieless=" true | false " timeout=" number of minutes " stateConnectionString=" tcpip=server:port " sqlConnectionString=" sql connection string " stateNetworkTimeout=" number of seconds " /> <

互联网已经发展多年，其中不乏脱颖而出者，这些网站多数都已存在了接近 10 年或 10 年以上，在如此长时间的发展过程中，除了业务上面临的挑战，在技术上也面临了很多的挑战。 我挑选了一些 Alexa 排名较前的网站 （ 排名截止到 2012 年 4 月 21 日），看看它们在技术上是如何应对业务发展过程中的挑战的。 Google 目前 Alexa 排名第 1 。它诞生于 1997 年，当时是一个研究性项目，每个月 build 一次索引， build 出来的索引通过 sharding （ shard by doc ）的方式分散到多台服务器（ Index Server ）上，具体的网页数据同样通过 sharding 的方式分散到多台服务器（ Doc Server ）上，当用户提交请求时，通过前端的一台服务器将请求提交给 Index Server 获得打了分的倒排索引，然后从 Doc Server 提取具体的网页信息（例如网页标题、搜索关键词匹配的片段信息等），最终展现给用户。 随着索引的网页增加，这个结构可通过增加 Index Server 以及 Doc Server 来存储索引以及网页的数据，但仍然会面临其他很多方面的问题，于是在这之后的十多年的时间里， Google 做了很多事情来改进上面的结构。 1999 年， Google 增加了一个 Cache Cluster ，用来

一、前言   这篇博客来谈一谈 Web 应用中广泛使用的 Cookie 、 Session 以及 Token 机制，它们在 Web 应用中起着至关重要的作用，同时也是面试中的高频考点。这篇博客我主要来介绍一下这三种东西的相关概念和它们实现的原理，以及它们之间的区别。 二、正文   2.1 为什么需要它们   首先来说第一个问题，我们为什么需要这三样东西？稍微了解过 HTTP 的应该知道， HTTP 协议是一个无状态的协议。什么是无状态？就是说， HTTP 服务器对每一条请求一视同仁，不会记录每一条请求的状态，比如是由谁发出的，所有的请求对它来说都是陌生的。就算你连续向同一个服务器发送两条请求，对它来说，这也是两条完全不相关的请求。但是，我们会发现这样一个现象，当我们在一个网站登录后，服务器就好像认识了我们，我们发送出去的请求，都能得到与我们自身相关的响应。比如说我们在淘宝登录后，点击购物车，就能够看见我们自己加入的商品；而如果我们没有登录，就会被拦截下来，跳转到登录页面。这是为什么呢？不是说 HTTP 是无状态的吗。其实，这就是依赖于上面的三种机制。   2.2 Cookie    Cookie 其实就是浏览器保存在电脑中的一些文本数据，它们都是 key-value 形式的，其中包含了我们自己以及服务器的一些信息。当我们向一个服务器发送请求时，服务器可能希望我们在本地保存一些数据

a、lun的概念 lun的全称是logical unit number，也就是逻辑单元号。我们知道scsi总线上可挂接的设备数量是有限的，一般为6个或者15个，我们可以用target ID(也有称为scsi id的)来描述这些设备，设备只要一加入系统，就有一个代号，我们在区别设备的时候,只要说几号几号就ok了。 而实际上我们需要用来描述的对象，是远远超过该数字的，于是我们引进了lun的概念，也就是说lun id的作用就是扩充了target id。每个target下都可以有多个lun device，我们通常简称lun device为lun，这样就可以说每个设备的描述就有原来的target x变成target x lun y了,那么显而易见的,我们描述设备的能力增强了.就好比,以前你给别人邮寄东西,写地址的时候,可以写: xx市人民大街54号 xxx(收) 但是自从高楼大厦越来越多,你不得不这么写: xx市人民大街54号xx大厦518室 xxx (收) 所以我们可以总结一下,lun就是我们为了使用和描述更多设备及对象而引进的一个方法而已,一点也没什么特别的地方. b、lun是 什么东西？ lun id不等于某个设备,只是个号码而已,不代表任何实体属性,在我们的实际环境里,我们碰到的lun可能是磁盘空间,可能是磁带机,或者是media changer等等. lun的神秘之处

关于块存储、文件存储、对象存储方面的知识在知乎上看到了个很好的解答： https://www.zhihu.com/question/21536660 通俗易懂，查了些资料做了详细的补充。 块存储 典型设备：磁盘阵列、硬盘 块存储主要是将裸磁盘空间整个映射给主机使用的。 就是说例如：磁盘阵列里面有5块硬盘，然后可以通过划逻辑盘、做Raid、或者LVM等方式逻辑划分出N个逻辑的硬盘。但是逻辑盘和物理盘是两个完全不同的概念。假设每个硬盘100G，共有5个硬盘，划分为逻辑盘也为5个，每个100G，但是这5个逻辑盘和原来的5个物理盘意义完全不同了。例如第一个逻辑盘第一个20G可能来自物理盘1，第二个20G来自物理盘2，所以逻辑盘是多个物理盘逻辑虚构出来的硬盘。 接着块存储会采用映射的方式将这几个逻辑盘映射给主机，主机上面的操作系统会识别到有5块硬盘，但是操作系统是无法区分到底是物理盘还是逻辑盘，它一概就认为只是5块裸的物理硬盘而已，跟直接拿一块物理硬盘挂载到操作系统没区别，至少操作系统感知上没有区别的。 在此方式下，操作系统还需要对挂载的裸硬盘进行分区、格式化后，才能使用，与平常主机内置的硬盘无差异。 优点 （1）这种方式的好处当然是因为通过了Raid与LVM等手段，对数据提供了保护； （2）可以将多块廉价的硬盘组合起来，称为一个大容量的逻辑盘对外提供服务，提高了容量； （3）写入数据时

旧事重提 云计算和大数椐都提的比较早，如云计算 早在7年前的2010中国(深圳)IT领袖峰会上，BAT三位大佬就分别谈了自己对云计算的看法。 李彦宏表示云计算其实就是新瓶装旧酒，没有新东西。从早先客户端与服务器的关系，到后来基于互联网的Web界面服务，在到云计算，本质上都是一样的。李彦宏是从纯技术的角度来看的，想必熟悉做技术的同学在当时的时间 点也会这么看。 而马化腾则认为云计算是一个比较有技术性，比较超前的概念。他同意未来云计算拥有很大的想象空间，但认为现在还为时过早，要过几百年、一千年后才确实有可能(实现)。当然马化腾当时说的云计算应该和我们现在BAT各家提供的服务不一样的。 与前两位不同的是，马云表示对云计算充满了信心，充满了希望。他所理解的云计算是一种数据存储、处理并分享的机制，阿里巴巴拥有大量消费数据、交易数据，这些数据于阿里而言，于社会而言都是非常有用的。他称云计算是阿里又找到的一个新的矿产。 当然，这种看法没有孰是孰非，现在也分别有了阿里云，百度云，腾讯云。态度不同结果也不同，阿里最先开展云业务，阿里巴巴公布2017财年全年财报，其中，阿里云该财年营收规模达到66.63亿元人民币，同比上年增长121%，连续两年实现三位数增长。相比下来，腾讯云与百度云就要逊色一些。在国际权威IT调研与咨询服务公司Gartner17年发布的云供应商魔力象限中，只有阿里云进入了领导者象限