数据库分区

如何创建修改分区表和如何查看分区表 SQL Server 2005 是微软在推出 SQL Server 2000 后时隔五年推出的一个数据库平台，它的数据库引擎为关系型数据和结构化数据提供了更安全可靠的存储功能，使用户可以构建和管理用于业务的高可用和高性能的数据应用程序。此外 SQL Server 2005 结合了分析、报表、集成和通知功能。这使企业可以构建和部署经济有效的 BI 解决方案，帮助团队通过记分卡、 Dashboard 、 Web Services 和移动设备将数据应用推向业务的各个领域。无论是开发人员、数据库管理员、信息工作者还是决策者， SQL Server 2005 都可以提供出创新的解决方案，并可从数据中获得更多的益处。 它所带来的新特性，如 T-SQL 的增强、数据分区、服务代理和与 .Net Framework 的集成等，在易管理性、可用性、可伸缩性和安全性等方面都有很大的增强。 SQL Server 2005 表分区的具体实现方法 表分区分为水平分区和垂直分区。水平分区将表分为多个表。每个表包含的列数相同，但是行更少。例如，可以将一个包含十亿行的表水平分区成 12 个表，每个小表表示特定年份内一个月的数据。任何需要特定月份数据的查询只需引用相应月份的表。而垂直分区则是将原始表分成多个只包含较少列的表。水平分区是最常用分区方式

Kafka初识 Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 Kafka和其他主流分布式消息系统的对比 定义解释： Java 和 scala都是运行在JVM上的语言。 erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing Protocol 高级消息队列协议）设计的。 事物的概念：在数据库中

什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。 主题：消息的种类称为 主题（Topic）,可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。 分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的伸缩性，单一主题中的分区有序，但是无法保证主题中所有的分区有序 生产者： 向主题发布消息的客户端应用程序称为生产者（Producer），生产者用于持续不断的向某个主题发送消息。 消费者：订阅主题消息的客户端程序称为消费者（Consumer），消费者用于处理生产者产生的消息。 消费者群组：生产者与消费者的关系就如同餐厅中的厨师和顾客之间的关系一样，一个厨师对应多个顾客，也就是一个生产者对应多个消费者，消费者群组（Consumer Group）指的就是由一个或多个消费者组成的群体。 偏移量：偏移量（Consumer Offset

概述 Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布，能够基于Kafka实现对网络日志流实时在线处理，在这个维度上弥补了Hadoop的离线分析系统的不足。因为基于hadoop的MapReduce系统分析离线数据延迟较高，而且不支持动态数据处理和分析。Kafka的流处理平台不仅仅可以为离线系统储备数据（通常使用Kafka作为数据缓冲），而且Kafka自身也提供了一套数据流的处理机制，实现对数据流在线处理，比如： 统计。 消息队列的概念 可以用于系统间通讯的一个组件-middle ware（中间件），该组件可以用于做消息缓冲的中间件（持久化）解决一些 并发处理、数据库缓冲等实现对高并发的业务场景的削峰填谷。 使用消息队列的场景分析 1.异步消息发送： 使用Kafka MQ功能实现模块间异步通信，把一些费时的操作交给额外的服务或者设备去执行，这样可以提升系统运行效率，加速连接释放的速度，例如：用户注册模块，在用户注册成功后，业务系统需要给用户发送一个通知短信，通知用户登录邮箱去激活刚注册的用户信息。这种业务场景如图所示，因为短信通知和邮件发送是一个比较耗时的操作，所以在这里没必要将短信和邮件发送作为注册模块的流程，使用Message Queue功能可以将改业务和主业务注册分离，这样可以缩短用户浏览器和服务建立的链接时间，同时也能满足发送短信和邮件的业务

Kafka是一款基于发布和订阅的消息系统。一般被称为分布式提交日志或分布式流平台。 Kafka系统是按照一定的顺序持久化保存的，可以按需读取。 Kafka的数据单元被称为消息。类似于数据库中表的一行记录，消息由字节组成，所以没有特别的格式和含义。 消息有一个可选的元数据，就是键，键也是一个字节数组。当消息以一种可控的方式写入分区时，会用到键，最简单的方式就是为键生成一个散列值，然后使用散列值对主题的分区属进行取模。这样可以保证具有相同键的消息总是会写到相同的分区。 批次时一组消息，这些消息属于同一个主题和分区，将消息分批次传输可以减少网络开销。 消息模式有很多选项，比如json,xml,但Kafka的开发者喜欢使用Apache Avro。 Kafka的消息通过主题进行分类，主题就好比数据库中的表。或者文件系统中的文件夹。 主题还可以分成若干个分区，消息以追加方式写入分区，按照先入先出的顺序被消费，因此无法在整个主题范围内保持顺序，但可以保证在单个分区内的顺序。 Kafka通过分区实现数据冗余和伸缩性，分区可分布在不同的服务器上，以此来提供比单个服务器更强大的性能。 通常使用流来描述Kafka的数据，流是一组从生产者到消费者的数据。Kafka以实时的方式处理数据，这叫流失处理，通常与批量处理（Hadoop）做区别。 Kafka的客户端就是Kafka的用户，他们被分为两种

一、Kafka基础 消息系统的作用 应该大部分小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画像分析。 按照刚刚前面提到的消息系统的作用，我们知道了消息系统其实就是一个模拟缓存，且仅仅是起到了缓存的作用而并不是真正的缓存，数据仍然是存储在磁盘上面而不是内存。 1.Topic 主题 kafka学习了数据库里面的设计，在里面设计了topic（主题），这个东西类似于关系型数据库的表 此时我需要获取中国移动的数据，那就直接监听TopicA即可 2.Partition 分区 kafka还有一个概念叫Partition（分区），分区具体在服务器上面表现起初就是一个目录，一个主题下面有多个分区，这些分区会存储到不同的服务器上面，或者说，其实就是在不同的主机上建了不同的目录。这些分区主要的信息就存在了.log文件里面。跟数据库里面的分区差不多，是为了提高性能。 至于为什么提高了性能，很简单，多个分区多个线程，多个线程并行处理肯定会比单线程好得多 Topic和partition像是HBASE里的table和region的概念，table只是一个逻辑上的概念，真正存储数据的是region

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 今天在Linux下通过sqlplus / as sysdba启动数据库时报以下错误： ERROR: ORA-09817: Write to audit file failed. Linux-x86_64 Error: 28: No space left on device ORA-09945: Unable to initialize the audit trail file Linux-x86_64 Error: 28: No space left on device 经过检查发现原因是Linux的虚拟机根分区已经使用100%,以至于服务不能正常进行： [oracle@etl110 ~]$ df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/VolGroup00-lvm_root 16G 15G 0 100% / /dev/mapper/VolGroup00-lv_home 2.0G 68M 1.8G 4% /home /dev/sda1 99M 13M 82M 14% /boot tmpfs 579M 0 579M 0% /dev/shm 考虑将虚拟机磁盘空间由20G扩大到40G，基于LVM操作，以下为操作过程： 第一步：使用VMware工具扩容分配的硬盘空间 1.vmware

博文结构 事务的使用 索引的使用 视图的作用 序列、同义词的使用 分区表的概念 一.事务 Oracle通过事务来保证数据库中数据的一致性。 事务的含义 事务就是业务上的一个逻辑单元，它能够保证其中对数据所有的操作要么全部成功，要么全部失败 事务开始于一条可执行的SQL语句，继续执行事务主体,然后结束于以下的任意一种情况。 显式提交(commit): 当事务遇到cormmit指令时,将结束事务并永久保存所有更改的数据。 显式回滚(ollback); 当事务遇到rollback指令时，也将结束事务的执行，但是此时它回滚 所有更改的数据到事务开始时的原始值,即取消更改。 DDL语句:一旦用户执行了DDL (Data DefinitionLanguage,数据定义语言，如 CREATE. DROP 等)语句，则之前所有的DML (Data Manipulation Language,数据操作语言)操作将作为一 个事务提交.这种提交称为隐式提交。 正常结束程序:如果Oracle数据库应用程序正常结束,如使用SQL Plus工具更改了数据, 而正常退出该程序(输入"exit")， 则Oracle 自动提交事务。 非正常地结束程序:当程序崩溃或意外中止时，所有数据更改都被回滚,这种回滚称为隐 式回滚。. 事务的特点 事务的四个特性,即原子性(Atomicity). - 致性

kafka在大数据、分布式架构中都很流行。kafka可以进行流式计算，也可以做为日志系统，还可以用于消息队列。 本篇主要是kafka消息队列相关的知识。 零、kafka作为消息队列的优点： 高吞吐、低延迟 ：kakfa 最大的特点就是收发消息非常快，kafka 每秒可以处理几十万条消息，它的最低延迟只有几毫秒。 高伸缩性 ： 每个主题(topic) 包含多个分区(partition)，主题中的分区可以分布在不同的主机(broker)中。 持久性、可靠性 ： Kafka 能够允许数据的持久化存储，消息被持久化到磁盘，并支持数据备份防止数据丢失，Kafka 底层的数据存储是基于 Zookeeper 存储的，Zookeeper 我们知道它的数据能够持久存储。 容错性 ： 允许集群中的节点失败，某个节点宕机，Kafka 集群能够正常工作 高并发 ： 支持数千个客户端同时读写 一、pull模式 消息队列有push模式和pull模式。push模式是消息队列推送给消息消费者，pull模式是消息消费者从消息队列中拉取。 kafka使用了pull模式。 二、发布 - 订阅消息系统 kafka是一个分布式的发布 - 订阅(pub-sub)消息系统。 在发布 - 订阅系统中，消息被保留在主题中。 消费者可以订阅一个或多个主题并使用该主题中的所有消息。 消息生产者称为发布者，消息使用者称为订阅者。 比如

标签：SQL SERVER/MSSQL SERVER/数据库/DBA/索引体系结构/非聚集索引 概述 非聚集索引与聚集索引具有相同的 B 树结构，它们之间的显著差别在于以下两点： 基础表的数据行不按非聚集键的顺序排序和存储。 非聚集索引的叶层是由索引页而不是由数据页组成。 既可以使用聚集索引来为表或视图定义非聚集索引，也可以根据堆来定义非聚集索引。非聚集索引中的每个索引行都包含非聚集键值和行定位符。此定位符指向聚集索引或堆中包含该键值的数据行。 非聚集索引行中的行定位器或是指向行的指针，或是行的聚集索引键，如下所述： 如果表是堆（意味着该表没有聚集索引），则行定位器是指向行的指针。该指针由文件标识符 (ID)、页码和页上的行数生成。整个指针称为行 ID (RID)。 如果表有聚集索引或索引视图上有聚集索引，则行定位器是行的聚集索引键。如果聚集索引不是唯一的索引，SQL Server 将添加在内部生成的值（称为 唯一值 ）以使所有重复键唯一。此四字节的值对于用户不可见。仅当需要使聚集键唯一以用于非聚集索引中时，才添加该值。SQL Server 通过使用存储在非聚集索引的叶行内的聚集索引键搜索聚集索引来检索数据行。 对于索引使用的每个分区，非聚集索引在 index_id >0 的 sys.partitions 中都有对应的一行。默认情况下，一个非聚集索引有单个分区