信息存储

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Mysql Fabric用来管理mysql服务，提供扩展性和容易使用的系统，管理mysql分片和高可用部署(当前实现了两个特性：高可用和使用数据分片的横向扩展，能单独使用或结合使用这两个特性。)。 架构图： 应用请求一个扩展的mysql连接器版本，使用XML-RPC协议访问Fabric，当前可以使用python和J连接器。Fabric管理启动 GTIDs(全局事务标识) 的mysql集合，检查和维护服务器之间的一致性。集合中的服务器叫高可用组。不属于Fabric高可用组的成员实例，叫备用存储(backing store)。 Fabric组织服务器在一个组(叫高可用组)，管理不同分片或简单提供高可用。例如如果使用标准异步复制，Fabric可以配置自动监控mysql服务状态。如果组中当前master错误，组中有一个服务器能变成master，它选择一个新的服务器做为master。 除了高可用操作如故障转移和切换，Fabric也允许分片操作，如分片创建和移除。 高可用和数据分片在两个层实现： 1、mysqlfabric进程处理任何管理请求，接收通过mysqlfabric命令行接口或其他支持XML/RPC接口的进程的管理任务。当使用HA特性，该进程能监控master服务器，当master故障时能进行故障恢复

第一部分选择题 1. 下面哪个程序负责 HDFS 数据存储。 答案C DataNode a)NameNode b)Jobtracker c)DataNode d)secondaryNameNode e)tasktracker NameNode:负责调度,比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在哪些节点上给你取这些数据了。。。它主要维护两个map 一个是文件到块的对应关系 一个是块到节点的对应关系。（文件分成哪些块，这些块分别在哪些节点） 2. HDfS 中的 block 默认保存几份？ 答案A默认3分 a)3 份 b)2 份 c)1 份 d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动？ 答案D a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 此题分析： hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上

Shape数据 Shapefile是ArcView GIS 3.x的原生数据格式，属于简单要素类，用点、线、多边形存储要素的形状，却不能存储拓扑关系，具有简单、快速显示的优点。一个shapefile是由若干个文件组成的，空间信息和属性信息分离存储，所以称之为“基于文件”。 每个shapefile，都至少有这三个文件组成，其中： *.shp 存储的是几何要素的的空间信息，也就是XY坐标 *.shx 存储的是有关*.shp存储的索引信息。它记录了在*.shp中，空间数据是如何存储的，XY坐标的输入点在哪里，有多少XY坐标对等信息 *.dbf 存储地理数据的属性信息的dBase表 这三个文件是一个shapefile的基本文件，shapefile还可以有其他一些文件，但所有这些文件都与该shapefile同名，并且存储在同一路径下。 其它较为常见的文件： *.prj 如果shapefile定义了坐标系统，那么它的空间参考信息将会存储在*.prj文件中 *.shp.xml 这是对shapefile进行元数据浏览后生成的xml元数据文件 *.sbn 和 *.sbx 这两个存储的是shapefile的空间索引，它能加速空间数据的读取。这两个文件是在对数据进行操作、浏览或连接后才产生的，也可以通过ArcToolbox >Data Management Tools >Indexes >Add

文件管理 主要内容： 文件系统基础：包括文件概念、文件的逻辑结构（顺序文件，索引文件，索引顺序文件）、目录结构（文件控制块和索引结点，单级目录结构和两级目录结构，树形目录结构，图形目录结构）、文件共享和文件保护（访问类型，访问控制）。 文件系统实现 ：包括文件系统层次结构、目录实现、文件实现。 磁盘组织与管理 ：包括磁盘的结构、磁盘调度算法、磁盘的管理。 4.1 文件的概念和定义 文件(File)是操作系统中的一个重要概念。 在系统运行时，计算机以进程为基本单位进行资源的调度和分配；而在用户进行的输入、输出中，则以文件为基本单位 。大多数应用程序的输入都是通过文件来实现的，其输出也都保存在文件中，以便信息的长期存及将来的访问。当用户将文件用于应用程序的输入、输出时，还希望可以访问文件、修改文件和保存文件等，实现对文件的维护管理，这就需要系统提供一个文件管理系统，操作系统中的文件系统(File System)就是用于实现用户的这些管理要求。 从用户的角度看，文件系统是操作系统的重要部分之一。用户关心的是如何命名、分类和查找文件，如何保证文件数据的安全性以及对文件可以进行哪些操作等。而对其中的细节，如文件如何存储在辅存上、如何管理文件辅存区域等关心甚少。 文件系统提供了与二级存储相关的资源的抽象，让用户能在不了解文件的各种属性、文件存储介质的特征以及文件在存储介质上的具体位置等情况下

13.1 联结 SQL最强大的功能之一就是能在数据检索查询的执行中联结表。联结是利用SQL的select能执行的最重要的操作，很好 地理解联结及其语法是学习SQL的一个极为重要的组成部分。 在能够有效地使用联结前，必须了解关系表以及关系数据库设计的一些基础知识。下面的介绍并不是这个内容的全部知识，但作为入门已经足够了。 13.1.1 关系表 理解关系表的最好方法是来看一个现实世界中的例子。 假如有一个包含产品目录的数据库表，其中每种类别的物品占一行。对于每种物品要存储的信息包括产品的描述和价格，以及生产该产品的供应商信息。 现在，假如有由同一供应商生产的多种物品，那么在何处存储供应商信息（如，供应商名、地址、联系方法等）呢 ?J将这些数据与产品信息分开存储的理由如下。 因为同一供应商生产的每个产品的供应商信息都是相同的，对每个产品重复此信息既浪费时间又浪费存储空间。 如果供应商信息改变（例如，供应商搬家或电话号码变动），只需改动一次即可。 如果有重复数据（即每种产品都存储供应商信息），很难保证每次输入该数据的方式都相同。不一致的数据在报表中很难利用。 关键是，相同数据出现多次绝不是一件好事，此因素是关系数据库设计的基础。关系表的设计就是要保证把信息分 解成多个表，一类数据一个表。各表通过某些常用的值（即关系设计中的关系）互相关联。 在这个例子中，可建立两个表，一个存储供应商信息

相关的名称解释 Region ：可以理解为区域，是基于地理位置的逻辑划分；如：华南，华北之类，包含多个 region 的 Ceph 集群必须指定一个 master region ，一个 region 可以包含一个或者多个 zone Zone ： 可以理解为可用区，它包含一组 Ceph rgw 实例，一个 region 必须指定一个 master zone 用以处理客户端请求。 部署拓扑 本文描述的多可用区部署拓扑如下： Ceph | SH / \ SH-1 SH-2 | | SH-SH-1 SH-SH-2在Ceph集群配置名为SH的Region，在Region下配置名为SH-1及SH-2两个Zone，并将SH-1设置为master， SH-2备用，可以通过radosgw-agent 实现数据复制;每个Zone各运行一个rgw实例，分别为SH-SH-1及SH-SH-2 rgw 组成要素 rgw 作为一个客户端，包含如下基本元素： rgw 实例名， 本文中两个实例分别是 SH-SH-1 , SH-SH-2 rgw 实例用户 存储池 ceph.conf 中配置入口 rgw 实例运行时数据目录 前端配置文件 配置 rgw 创建 pools Ceph rgw 需要使用多个 pool 来存储相关的配置及用户数据。如果后续创建的 rgw 用户具有相关权限，在 rgw

网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。 在互联网时代，网络爬虫主要是为搜索引擎提供最全面和最新的数据。 在大数据时代，网络爬虫更是从互联网上采集数据的有利工具。目前已经知道的各种网络爬虫工具已经有上百个，网络爬虫工具基本可以分为 3 类。 分布式网络爬虫工具，如 Nutch。 Java 网络爬虫工具，如 Crawler4j、WebMagic、WebCollector。 非 Java 网络爬虫工具，如 Scrapy(基于 Python 语言开发)。 本节首先对网络爬虫的原理和工作流程进行简单介绍，然后对网络爬虫抓取策略进行讨论，最后对典型的网络工具进行描述。 网络爬虫原理 网络爬虫是一种按照一定的规则，自动地抓取 Web 信息的程序或者脚本。 Web 网络爬虫可以自动采集所有其能够访问到的页面内容，为搜索引擎和大数据分析提供数据来源。从功能上来讲，爬虫一般有数据采集、处理和存储 3 部分功能，如图 1 所示。 图 1 网络爬虫示意 网页中除了包含供用户阅读的文字信息外，还包含一些超链接信息。 网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其他网页的。网络爬虫从一个或若干初始网页的

图文并茂 RAID 技术全解 – RAID0、RAID1、RAID5、RAID100…… 　　RAID 技术相信大家都有接触过，尤其是服务器运维人员，RAID 概念很多，有时候会概念混淆。这篇文章为网络转载，写得相当不错，它对 RAID 技术的概念特征、基本原理、关键技术、各种等级和发展现状进行了全面的阐述，并为用户如何进行应用选择提供了基本原则，对于初学者应该有很大的帮助。 一、RAID 概述 　　1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Inexpensive Disks” 中提出了 RAID 概念 [1] ，即廉价冗余磁盘阵列（ Redundant Array of Inexpensive Disks ）。由于当时大容量磁盘比较昂贵， RAID 的基本思想是将多个容量较小、相对廉价的磁盘进行有机组合，从而以较低的成本获得与昂贵大容量磁盘相当的容量、性能、可靠性。随着磁盘成本和价格的不断降低， RAID 可以使用大部分的磁盘， “廉价” 已经毫无意义。因此， RAID 咨询委员会（ RAID Advisory Board, RAB ）决定用 “ 独立 ” 替代 “ 廉价 ” ，于时 RAID 变成了独立磁盘冗余阵列（ Redundant Array of

在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。 Cookie Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用Cookie实际上只能存储一小段的文本信息。 例如：登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是Cookie。 Session Session是另一种记录客户状态的机制，它是在服务端保存的一个数据结构（主要存储的的SessionID和Session内容，同时也包含了很多自定义的内容如：用户基础信息、权限信息、用户机构信息、固定变量等），这个数据可以保存在集群、数据库、文件中，用于跟踪用户的状态。 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。 用户第一次登录后，浏览器会将用户信息发送给服务器，服务器会为该用户创建一个SessionId，并在响应内容（Cookie）中将该SessionId一并返回给浏览器

在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。 Cookie Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用Cookie实际上只能存储一小段的文本信息。 例如：登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是Cookie。 Session Session是另一种记录客户状态的机制，它是在服务端保存的一个数据结构（主要存储的的SessionID和Session内容，同时也包含了很多自定义的内容如：用户基础信息、权限信息、用户机构信息、固定变量等），这个数据可以保存在集群、数据库、文件中，用于跟踪用户的状态。 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。 用户第一次登录后，浏览器会将用户信息发送给服务器，服务器会为该用户创建一个SessionId，并在响应内容（Cookie）中将该SessionId一并返回给浏览器