partition

达梦数据库索引实践 达梦数据库支持二级索引，聚集索引，唯一索引，函数索引，位图索引，分区索引等。 默认的表是索引组织表，利用rowid创建一个默认的索引，所以我们创建的索引，称为二级索引。建索引的目的是加快表的查询，对数据库做DML操作的时候，数据库会自动维护索引。索引是一棵倒置的树，使用索引，就是对这个索引树进行遍历。 建立索引的规则：经常查询的列、连接条件列、谓词经常出现的列（where）、查询是返回表的一小部分数据 不适合创建索引的情况：列上有大量的null、列上的数据有限（例如：性别） 1、查看索引信息 讲索引之前注意一下：创建索引，删除，重建索引和收集统计信息，不要在业务高峰去做。 查看某个用户下的索引情况 select owner,table_name,index_name,index_type from dba_indexes where owner='TEST1'; 首先创建一张来做下测试 create table TAB10 (id1 int, id2 int, id3 int, id4 int, id5 int, id6 int, id7 int, id8 int, name1 char(20), name2 varchar(30)); 查询发现，创建表的时候会默认自带创建一个聚集索引。 select owner,table_name,index_name

参考资料： https://blog.csdn.net/gongxinju/article/details/72672375 以后继续深入总结。 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和partition的关系。 partition是以文件的形式存储在文件系统中，比如，创建了一个名为page_visits的topic，其有5个partition，那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样5个目录: page_visits-0， page_visits-1，page_visits-2，page_visits-3，page_visits-4，其命名规则为<topic_name>-<partition_id>，里面存储的分别就是这5个partition的数据。 接下来，本文将分析partition目录中的文件的存储格式和相关的代码所在的位置。 3.1、Partition的数据文件 Partition中的每条Message由offset来表示它在这个partition中的偏移量

简介 kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。 每新写一条消息，kafka就是在对应的文件append写，所以性能非常高。 kafka的总体数据流是这样的： kafka data flow 大概用法就是，Producers往Brokers里面的指定Topic中写消息，Consumers从Brokers里面拉去指定Topic的消息，然后进行业务处理。 图中有两个topic，topic 0有两个partition，topic 1有一个partition，三副本备份。可以看到consumer gourp 1中的consumer 2没有分到partition处理，这是有可能出现的，下面会讲到。 关于broker、topics、partitions的一些元信息用zk来存，监控和路由啥的也都会用到zk。 生产 基本流程是这样的： kafka sdk product flow.png 创建一条记录