信息存储

Hadoop 软件有三大核心，HDFS、Yarn、MapReduce。这里我们来说第一个核心HDFS，HDFS全称 Hadoop Distributed File System 是Apache Hadoop项目的一个子项目，是一个分布式文件系统，Hadoop能够适合存储大数量的数据比如TB和PB，其实就是使用的HDFS。HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。 HDFS适用的场景 　　 存储非常大的文件：这里非常大指的是几百M、G、或者TB级别，需要高吞吐量，对延时 没有要求 。 　　 采用流式的数据访问方式: 即一次写入、多次读取，数据集经常从数据源生成或者拷贝一次，然后在其上做很多分析工作 。 　　 运行于商业硬件上: Hadoop不需要特别贵的机器，可运行于普通廉价机器，可以处节约成本需要高容错性为数据存储提供所需的扩展能力 HDFS不适用的场景 　　 低延时的数据访问 对延时要求在毫秒级别的应用，不适合采用HDFS。HDFS是为高吞吐数据传输设计的,因此可能牺牲延时 　　 大量小文件 文件的元数据保存在NameNode的内存中， 整个文件系统的文件数量会受限于NameNode的内存大小。 经验而言，一个文件/目录/文件块一般占有150字节的元数据内存空间。如果有100万个文件，每个文件占用1个文件块

Ceph组件 RADOS（Reliable Autonomic Distributed Object Store） RADOS是Ceph 存储集群的基础。Ceph 中的一切都以对象的形式存储，而RADOS 就负责存储这些对象，而不考虑它们的数据类型。RADOS 层确保数据一致性和可靠性。对于数据一致性，它执行数据复制、故障检测和恢复。还包括数据在集群节点间的recovery。 OSD 实际存储数据的进程。通常一个OSD daemon绑定一个物理磁盘。Client write/read 数据最终都会走到OSD去执行write/read操作。 MON（monitor） Monitor在Ceph集群中扮演者管理者的角色，维护了整个集群的状态，是Ceph集群中最重要的组件。 Mon保证集群的相关组件在同一时刻能够达成一致，相当于集群的领导层，负责收集、更新和发布集群信息。为了规避单点故障，在实际的Ceph部署环境中会部署多个Mon，同样会引来多个Mon之前如何协同工作的问题。 LIbrados 简化访问RADOS的一种方法，目前支持PHP、Ruby、Java、Python、C和C++语言。它提供了Ceph 存储集群的一个本地接口RADOS ，并且是其他服务(如RBD 、RGW) 的基础，以及为CephFS 提供POSIX 接口。librados API 支持直接访问RADOS

参考地址： https://www.cnblogs.com/ultranms/p/9585191.html 在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. 这大概描述了Zookeeper主要可以干哪些事情：配置管理，名字服务，提供分布式同步以及集群管理。那这些服务又到底是什么呢？我们为什么需要这样的服务？我们又为什么要使用Zookeeper来实现呢，使用Zookeeper有什么优势？接下来我会挨个介绍这些到底是什么，以及有哪些开源系统中使用了。 配置管理 在我们的应用中除了代码外，还有一些就是各种配置。比如数据库连接等。一般我们都是使用配置文件的方式，在代码中引入这些配置文件。但是当我们只有一种配置，只有一台服务器，并且不经常修改的时候，使用配置文件是一个很好的做法，但是如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不是个好主意了。这个时候往往需要寻找一种集中管理配置的方法，我们在这个集中的地方修改了配置，所有对这个配置感兴趣的都可以获得变更

博文结构 Oracle数据库体系结构 Oracle物理结构 Oracle逻辑结构 Oracle内存结构 Oracle进程结构 创建用户并授权 一.oracle体系结构概述 Orcale体系结构 Oracle体系结构包含一系列组件。 如图显示了Oracle体系结构中的主要组件，包括实例、用户进程、服务器进程、数据文件及其他文件，如参数文件、口令文件 和归档日志文件等. 从图中可以看出,实例和数据库是Oracle数据库体系结构的核心组成部分，也是最重要的 两个概念, DBA -个很重要的工作就是维护实例和数据库本身的正常工作。 1.实例 Oracle实例是后台进程和内存结构的集合，必须启动实例才能访问数据库中的数据。Oracle 实 例启动时，将分配- -个系统全局区(SGA) 并启动一系列Oracle后台进程。Oracle 实例有两种类型: 单进程实例和多进程实例。单进程Oracle实例使用一个进程执行Oracle的全部操作,在单进程环境下 的Oracle实例仅允许- -个用户可存取。多进程Oracle实例(又称多用户Oracle)使用多个进程来执行 Oracle的不同部分，对于每个连接的用户都有一个进程。 2.数据库 数据库是数据的集合，物理上是指存储数据库信息的一组操作系统文件，每个数据库有-个逻 辑结构和一个物理结构。物理结构是指构成数据库的一组操作系统文件

前言 1、什么是JVM JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 2、JRE/JDK/JVM是什么关系 JRE(JavaRuntimeEnvironment，Java运行环境)，也就是Java平台。所有的Java 程序都要在JRE下才能运行。普通用户只需要运行已开发好的java程序，安装JRE即可。 JDK(Java Development Kit)是程序开发者用来来编译、调试java程序用的开发工具包。JDK的工具也是Java程序，也需要JRE才能运行。为了保持JDK的独立性和完整性，在JDK的安装过程中，JRE也是 安装的一部分。所以，在JDK的安装目录下有一个名为jre的目录，用于存放JRE文件。 JVM(JavaVirtualMachine，Java虚拟机)是JRE的一部分。它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。JVM有自己完善的硬件架构，如处理器、堆栈、寄存器等，还具有相应的指令系统。Java语言最重要的特点就是跨平台运行。使用JVM就是为了支持与操作系统无关，实现跨平台。 3、JVM执行程序的过程

第二部分 开发篇 本篇首先讲述数据库开发的一些基础知识，如关系数据模型、常用的SQL语法、范式、索引、事务等， 然后介绍编程开发将会涉及的数据库的一些技巧，最后结合生产实际，提供一份开发规范供大家参考。 第3章 开发基础 本章将为读者介绍MySQL数据库相关的开发基础，首先，介绍一些基础概念，然后讲解关系数据模型和SQL基础。 由于在互联网开发者中，PHP开发者占据了相当大的比重，因此这里也将简要介绍下PHP开发者应该掌握的一些基础知识和开发注意事项。 最后，要接触的是MySQL数据库更深层次的内容——索引、主键、字符集等。 3.1 相关基础概念 （1）框架 在软件开发过程中，研发人员经常借助框架（framework）来辅助自己进行软件开发。 成熟的框架可以帮助处理很多细节性的问题，并完成一些基础性的工作，如生成访问数据库的代码、简化网络编程，这样开发者就会有更多的时间和精力专注于业务逻辑的设计。 但目前仍存在的一个问题是，一些框架对于数据库的使用不符合我们的预期，或者说不友好，故而有必要先了解一下开发框架是如何存取数据的。 大家有兴趣的话，可深入学习和使用如下这些业内使用比较广泛的一些框架，如 Django（Python）、Ruby onRails（Ruby）、Zend Framework（PHP）、Spring（JAVA）等。 （2）数据模型 数据模型（data model

第4章 开发进阶 本章将介绍一些重中之重的数据库开发知识。 在数据库表设计中，范式设计是非常重要的基础理论，因此本章把它放在最前面进行讲解，而这其中又会涉及另一个重要的概念——反范式设计。 接下来会讲述MySQL的权限机制及如何固化安全。 然后介绍慢查询日志及性能管理的部分理念，并讲述数据库的逻辑设计、物理设计、导入导出数据、事务、锁等知识。 最后会提及 MySQL的一些非核心特性，并对于这些特性的使用给出一些建议。 4.1 范式和反范式 4.1.1 范式 什么是范式？ 范式是数据库规范化的一个手段，是数据库设计中的一系列原理和技术，用于减少数据库中的数据冗余，并增进数据的一致性。 数据规范化通常是将大表分成较小的表，并且定义它们之间的关系。这样做的目的是为了避免冗余存放数据，并确保数据的一致性。 添加、删除和修改数据等操作可能需要修改多个表，但只需要修改一个地方即可保证所有表中相关数据的一致性（由于数据没有冗余存放，修改某部分数据一般只需要修改一个表即可）。 由于数据分布在多个表之间，因此检索信息可能需要根据表之间的关系联合查询多个表。 数据规范化的实质是简单写、复杂读。 写入操作比较简单，对于不同的信息，分别修改不同的表即可；而读取数据则相对复杂，检索数据的时候，可能需要编写复杂的SQL来联合查询多个表。 常用的范式有第一、第二、第三范式，通常来说

文章目录 系统架构 HBase的表数据模型 Row Key 列族Column Family 列 Column 时间戳 Cell VersionNum 物理存储 1、整体结构 2、STORE FILE & HFILE结构 3、Memstore与storefile 4、HLog(WAL log) 读写过程 1、读请求过程： 2、写请求过程： Region管理 Master工作机制 系统架构 Client 1 包含访问hbase的接口， client维护着一些cache来加快对hbase的访问 ，比如regione的位置信息。 Zookeeper 1 保证任何时候，集群中只有一个master 2 存贮所有Region的寻址入口 3 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master 4 存储Hbase的schema,包括有哪些table，每个table有哪些column family Master职责 1 为Region server分配region 2 负责region server的负载均衡 3 发现失效的region server并重新分配其上的region 4 HDFS上的垃圾文件回收 5 处理schema更新请求 Region Server职责 1 Region server 维护Master分配给它的region

1.概述 本篇文章会尽力全面的介绍RocketMQ和Kafka各个关键点的比较，希望大家读完能有所收获。 RocketMQ前身叫做MetaQ, 在MeataQ发布3.0版本的时候改名为RocketMQ，其本质上的设计思路和Kafka类似，但是和Kafka不同的是其使用Java进行开发，由于在国内的Java受众群体远远多于Scala，所以RocketMQ是很多以Java语言为主的公司的首选。同样的RocketMQ和Kafka都是Apache基金会中的顶级项目，他们社区的活跃度都非常高，项目更新迭代也非常快。 2.入门实例 2.1 生产者 public class Producer { public static void main(String[] args) throws MQClientException, InterruptedException { DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName"); producer.start(); for (int i = 0; i < 128; i++) try { { Message msg = new Message("TopicTest", "TagA", "OrderID188", "Hello world".getBytes

B+树索引是B+树在 数据库 中的一种实现，是最常见也是数据库中使用最为频繁的一种索引。 B+树中的B代表平衡（balance），而不是二叉（binary），因为B+树是从最早的平衡二叉树演化而来的。 在讲B+树之前必须先了解 二叉查找树 、 平衡二叉树（AVLTree） 和 平衡多路查找树（B-Tree） ，B+树即由这些树逐步优化而来。 二叉查找树 二叉树具有以下性质：左子树的键值小于根的键值，右子树的键值大于根的键值。 如下图所示就是一棵二叉查找树， 对该二叉树的节点进行查找发现深度为1的节点的查找次数为1，深度为2的查找次数为2， 深度为n的节点的查找次数为n， 因此其平均查找次数为 (1+2+2+3+3+3) / 6 = 2.3次 二叉查找树可以任意地构造，同样是2,3,5,6,7,8这六个数字，也可以按照下图的方式来构造： 但是这棵二叉树的查询效率就低了。因此 若想二叉树的查询效率尽可能高，需要这棵二叉树是平衡的，从而引出 新的定义——平衡二叉树，或称AVL树 。 平衡二叉树（AVL Tree）----（基于【二插树】改善，查询效率提高） 平衡二叉树（AVL树）在符合二叉查找树的条件下， 还满足任何节点的两个子树的高度最大差为1 。 下面的两张图片： 左边是AVL树，它的任何节点的两个子树的高度差<=1； 右边的不是AVL树，其根节点的左子树高度为3，而右子树高度为1；