partition

3 月，跳不动了？>>> 一: 分区简介 分区是根据一定的规则，数据库把一个表分解成多个更小的、更容易管理的部分。就访问数据库应用而言，逻辑上就只有一个表或者一个索引，但实际上这个表可能有N个物理分区对象组成，每个分区都是一个独立的对象，可以独立处理，可以作为表的一部分进行处理。分区对应用来说是完全透明的，不影响应用的业务逻辑。 分区有利于管理非常大的表，它采用分而治之的逻辑，分区引入了分区键的概念，分区键用于根据某个区间值(或者范围值)、特定值列表或者hash函数值执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象碧昂城一些小对象。 MySQL分区即可以对数据进行分区也可以对索引进行分区。 分区类型 range分区：基于一个给定的连续区间范围(区间要求连续并且不能重叠)，把数据分配到不同的分区 list分区：类似于range分区，区别在于list分区是居于枚举出的值列表分区，range是基于给定的连续区间范围分区 hash分区：基于给定的分区个数，把数据分配到不同的分区 key分区：类似于hash分区 注意：无论哪种分区，要么你分区表上没有主键/唯一键，要么分区表的主键/唯一键都必须包含分区键，也就是说不能使用主键/唯一键字段之外的其它字段分区。 ####MySQL分区的有限主要包括以下4个方面： 和单个磁盘或者文件系统分区相比，可以存储更多数据 优化查询

networkX tutorial 绘制基本网络图 用matplotlib绘制网络图 基本流程： 1. 导入networkx，matplotlib包 2. 建立网络 3. 绘制网络 nx.draw() 4. 建立布局 pos = nx.spring_layout美化作用 最基本画图程序 1 import networkx as nx #导入networkx包 2 import matplotlib.pyplot as plt 3 G = nx.random_graphs.barabasi_albert_graph(100,1) #生成一个BA无标度网络G 4 nx.draw(G) #绘制网络G 5 plt.savefig("ba.png") #输出方式1: 将图像存为一个png格式的图片文件 6 plt.show() #输出方式2: 在窗口中显示这幅图像 networkx 提供画图的函数有： draw （G，[pos,ax,hold]） draw_networkx (G，[pos,with_labels]) draw_networkx_nodes (G,pos,[nodelist]) 绘制网络G的节点图 draw_networkx_edges (G,pos[edgelist]) 绘制网络G的边图 draw_networkx_edge_labels (G, pos[, ...])

Oracle11G分区表 　　当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 作用： 　　Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 　　分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML 命令访问分区后的表时，无需任何修改。 什么时候用： 　　1、表的大小超过2GB。 　　2、表中包含历史数据，新的数据被增加都新的分区中。 优点： 　　1、改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 　　2、增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 　　3、维护方便

两张图读懂kafka应用： Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。 Kafka 中的术语设计： 1、Broker 中间的kafka cluster，存储消息，是由多个server组成的集群。 2、topic与消息 kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中。 这样，消息就以一个个id的方式，组织起来。 producer选择一个topic，生产消息，消息会通过分配策略append到某个partition末尾。 consumer选择一个topic，通过id指定从哪个位置开始消费消息。消费完成之后保留id，下次可以从这个位置开始继续消费，也可以从其他任意位置开始消费。 上面的id在kafka中称为offset，这种组织和处理策略提供了如下好处： 消费者可以根据需求，灵活指定offset消费。 保证了消息不变性

一、Oracle分区简介 ORACLE的分区是一种处理超大型表、索引等的技术。分区是一种“分而治之”的技术，通过将大表和索引分成可以管理的小块，从而避免了对每个表作为一个大的、单独的对象进行管理，为大量数据提供了可伸缩的性能。分区通过将操作分配给更小的存储单元，减少了需要进行管理操作的时间，并通过增强的并行处理提高了性能，通过屏蔽故障数据的分区，还增加了可用性。 二、Oracle分区优缺点 ? 优点： 增强可用性：如果表的某个分区出现故障，表在其他分区的数据仍然可用； 维护方便：如果表的某个分区出现故障，需要修复数据，只修复该分区即可； 均衡I/O：可以把不同的分区映射到磁盘以平衡I/O，改善整个系统性能； 改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 ? 缺点： 分区表相关：已经存在的表没有方法可以直接转化为分区表。不过 Oracle 提供了在线重定义表的功能。 三、Oracle分区方法 ? 范围分区： 范围分区就是对数据表中的某个值的范围进行分区，根据某个值的范围，决定将该数据存储在哪个分区上。如根据序号分区，根据业务记录的创建日期进行分区等。 ? Hash分区（散列分区）： 散列分区为通过指定分区编号来均匀分布数据的一种分区类型，因为通过在I/O设备上进行散列分区，使得这些分区大小一致。 ? List分区（列表分区）：

一 . 分区表理论知识 Oracle 提供了分区技术以支持 VLDB(Very Large DataBase) 。分区表通过对分区列的判断，把分区列不同的记录，放到不同的分区中。分区完全对应用透明。 Oracle 的分区表可以包括多个分区， 每个分区都是一个独立的段（ SEGMENT ），可以存放到不同的表空间中 。查询时可以通过查询表来访问各个分区中的数据，也可以通过在查询时直接指定分区的方法来进行查询。 When to Partition a Table 什么时候需要分区表，官网的 2 个建议如下： （ 1 ） Tables greater than 2GB should always be considered for partitioning. （ 2 ） Tables containing historical data, in which new data is added into the newest partition. A typical example is a historical table where only the current month's data is updatable and the other 11 months are read only. 在 oracle 10g 中最多支持： 1024k-1 个分区： Tables can be

一 . 分区表理论知识 Oracle 提供了分区技术以支持 VLDB(Very Large DataBase) 。分区表通过对分区列的判断，把分区列不同的记录，放到不同的分区中。分区完全对应用透明。 Oracle 的分区表可以包括多个分区， 每个分区都是一个独立的段（ SEGMENT ），可以存放到不同的表空间中 。查询时可以通过查询表来访问各个分区中的数据，也可以通过在查询时直接指定分区的方法来进行查询。 When to Partition a Table 什么时候需要分区表，官网的 2 个建议如下： （ 1 ） Tables greater than 2GB should always be considered for partitioning. （ 2 ） Tables containing historical data, in which new data is added into the newest partition. A typical example is a historical table where only the current month's data is updatable and the other 11 months are read only. 在 oracle 10g 中最多支持： 1024k-1 个分区： Tables can be

一、Linux系统磁盘概念 磁盘的结构体系 01. 磁盘的物理结构 (外部结构 内部结构) 工作原理(先切换磁头 让磁头镜像运动) 02. 磁盘阵列说明 (raid0 raid1 raid5 raid10 raid01) 磁盘阵列如何配置 配置LVM L 逻辑 v 卷组 M 管理 逻辑卷管理 --> 实现可以随意调整磁盘分区大小 03. 磁盘分区概念 给容量较小的磁盘进行分区: 小于2T fdisk 给容量较大的磁盘进行分区: 大于2T parted 04. 磁盘格式化操作(创建文件系统) 05. 磁盘维护管理知识(如何使用磁盘 挂载使用) 磁盘层次结构详细说明--物理结构 1、磁盘的外部结构: 看的见摸得到的结构 组成部分 a 磁盘主轴 决定磁盘转速（rpm-round per minute） 家用磁盘转速 7200 rpm 5400 rpm 企业磁盘转速 15k rpm 10k rpm b 磁盘盘片 用于存储数据 c 磁盘磁头 用于读取数据 d 磁盘接口 用于连接主板 用于连接阵列卡 2、磁盘的内部结构: 看不见的结构信息 组成部分: a 磁盘（Disk） 磁盘或者分区的大小 = 柱面大小 * 柱面数 b 磁头（Head）（一个柱面有255个） 作用说明：用来写入和读取数据的 特点说明：盘面数量等于磁头数量 工作原理：采用径向运动读写数据 c 磁道（Track

--========================================= -- 转换为分区表 --========================================= -- 1. 创建分区函数 -- a. 适用于存储历史存档记录的分区表的分区函数 DECLARE @dt datetime SET @dt = '20020101' CREATE PARTITION FUNCTION PF_HistoryArchive(datetime) AS RANGE RIGHT FOR VALUES ( @dt, DATEADD( Year , 1, @dt)) -- b. 适用于存储历史记录的分区表的分区函数 --DECLARE @dt datetime SET @dt = '20000101' CREATE PARTITION FUNCTION PF_History(datetime) AS RANGE RIGHT FOR VALUES ( @dt, DATEADD( Month , 1, @dt), DATEADD( Month , 2, @dt), DATEADD( Month , 3, @dt), DATEADD( Month , 4, @dt), DATEADD( Month , 5, @dt), DATEADD( Month , 6, @dt),

kafka的offset理解 kafka是顺序读写，具备很好的吞吐量。实现原理是 每次生产消息时，都是往对应partition的文件中追加写入，而消息的被读取状态是由consumer来维护的 所以每个partition中offset一般都是连续递增的（如果开启了压缩，因为对旧数据的merge会导致不连续） 被读取的消息并不会删除，所以每次都是追加写入顺序读写，具备很好的吞吐量。 这也是为什么说kafka的broker是无状态的，整个过程中伴随由zookeeper的协调参与，一般是不同broker存储了不同partition或副本数据，当存在多个副本时，从那个broker读取数据时由zookeeper决定的，一般会由一台kafka作为leader(被读取)，如果该kafka不可用时，zookeeper切换到别的broker，因为broker在zookeeper上维护一个 /broker/ids/{id}的临时节点，如果kafka不可用，该节点也会被删除，kafka集群会根据该节点的信息，切换被读取的kafka 实现过程是 consumer在消费消息后，向broker中有个专门维护每个consumer的offset的topic生产一条消息，记录自己当前已读的消息的offset+1的值作为新的offset的消息。当然在旧版本的实现是在zookeeper上有个节点存放这个offset