partition

Hive 有两种方法删除指定parition的数据：truncate partition, drop parition 功能： 两者都用于删除数据，即将对应的partition的数据文件删除。 不同点： truncate 只删除数据文件，保存在mysql中的metadata不会被删除。 drop partition 只删除数据文件且删除在mysql中的metadata。 举例： 表food的结构: id bigint name string 数据文件,food.data： 1 banana 2 orange 3 apple 4 nutz 导入food.data后查询, select * from food: 输出： 1 banana 20151219 2 orange 20151219 3 apple 20151219 4 nutz 20151219 现在想给food添加一列price: ALTER TABLE food ADD COLUMNS (price int); 表结构变成: id bigint name string price int 并且把food.data对应位置多加一列： 1 banana 20 2 orange 30 3 apple 30 4 nutz 40 删除旧的数据(drop partition) TRUNCATE TABLE food PARTITION

简述 分区是指根据一定的虽则，数据库将表分解为多个更小的，更容易管理的部分，就访问数据库而言，逻辑上只有一张表或一个索引，但实际上这张表可能又多个物理分区共同构成，每一个分区都是一个独立的对象，可以独自处理，也可以作为表的一部分进行处理，分区对应用来说是完全透明的，不影响应用的业务逻辑。 MySQL采用分区的优点： 1.和单个磁盘或单个文件系统比较，可以 存储更多的数据 。 2. 优化查询 ，采用‘分而治之’的思想，例如在 where 子句中包含分区条件时，可以只扫描必要的一个或几个分区，避免全表扫描带来的性能缺失。此外，在使用 SUM 和 COUNT 等聚合函数时，可以采用归并的思想，只需汇总每一个分区的查询结果来提高效率。 3.对于过期或垃圾数据的清除，可以通过删除特定分区来减少查询。 特别注意: 1.大部分存储引擎( InnoDB , MyISAM , Memory 等)均支持分区， MERGE 和 CSV 不支持分区； 2.可以使用 SHOW VARIABLES LIKE '%partition%' (版本在5.6以下，5.6以上使用 SHOW PLUGINS )来查看当前版本的MySQL是否支持分区； 3.同一个分区表必须使用同一个存储引擎，但是对同一个MySQL服务器中，同一个数据库中对不同分区表使用不同的存储引擎； 4.MySQL分区适用于一个表的所有数据和索引

看过Kafka关于消费者的join Group的代码以后，我们可以知道，每一个Consumer的代理对象ConsumerCoordinator代表这个Consumer进行join Group操作，实际上是向GroupCoordinator发起JoinGroup请求。GroupCoordinator只负责告知Consumer其角色信息，即成为Leader还是Follower，并不负责分区分配，即管理Consumer和TopicPartition的对应关系。这种管理是被选举为Leader 的ConsumerCoordinator根据配置的分区分派规则来决定的。我们一起来从代码层面分析Kafka内置的分区分派算法RangeAssigner和RoundRobinAssigner。 为了不让读者感觉突兀，我们从ConsumerCoordinator收到JoinGroupResponse开始分析代码，即我们创建了一个消费者对象，开始消费消息的时候，底层会向远程的GroupCoordinator发起joinGroup请求，GroupCoordinator会进行处理并响应： private class JoinGroupResponseHandler extends CoordinatorResponseHandler < JoinGroupResponse , ByteBuffer > {

虽然目前Kafka0.10版本已经重写了其API，但底层原理是类似的，所以我们可以先了解kafka0.8.x里面的提供的Consumer的实现原理与交互流程 Kafka提供了两套API给Consumer The SimpleConsumer API The high-level Consumer API 1. 低阶API 本质上是提供了一种与broker交互信息的API 剩下的处理全靠用户自己的程序，功能比较简单，但用户扩展性比较强 1) API结构 低阶API的consumer，指定查找topic某个partition的指定offset去消费 首先与broker通信，寻找到leader（不与zookeeper通信，不存在groupid）， 然后直接和 leader 通信，指定 offset 去消费。消费多少，从哪里开始消费，都可控 （我们的例子是从 0 开始消费） findLeader方法中会去调用findPartitionMetadata方法 程序运行结果： 运行过程中一直卡住没有成功消费，加入如下错误信息判断，发现error code为1 说明我们从offset 0消费offsetoutofrange了 (我们发送请求topic1 partition0的offset 0 broker回复我们offset out of range,因为kafka中已经没有offset 0

用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个消费线程去分别消费 Topic 里面的数据。 Kafka 存在 Consumer Group 的概念，也就是 group.id 一样的 Consumer，这些 Consumer 属于同一个Consumer Group，组内的所有消费者协调在一起来消费订阅主题(subscribed topics)的所有分区(partition)。当然，每个分区只能由同一个消费组内的一个consumer来消费。每个group的中的consumer应该消费哪些分区，这就需要用特定的策略来进行分配。 如上图，Consumer1 为啥消费的是 Partition0 和 Partition2，而不是 Partition0 和 Partition3？这就涉及到 Kafka 内部分区分配策略（Partition Assignment Strategy）了。 在 Kafka 内部存在两种默认的分区分配策略：Range 和 RoundRobin。当以下事件发生时，Kafka 将会进行一次分区分配： 同一个 Consumer Group 内新增消费者 消费者离开当前所属的Consumer Group

ORACLE 表、索引和分区 一、数据库表 每种类型的表都有不同的特性，分别应用与不同的领域 • 堆组织表 • 聚簇表 ( 共三种 ) • 索引组织表 • 嵌套表 • 临时表 • 外部表和对象表 1. 行迁移 • 建表过程中可以指定以下两个参数： • PCTFREE ：自由空间，默认值 10 • PCTUSED （只适用于 MSSM ）：默认值 40 • 设置这两个参数很重要： • 一方面避免迁移过多的行，影响性能 • 一方面避免浪费太多的空间 • 当自由空间存不下更新后的某一行时，这一行将会发生行迁移，在两个块上存储这一行数据，如下图： 2. 堆组织表 • 基本上我们使用的表都是堆组织表（ heap organized table ），堆是无序的数据结构，数据的存取都是随机的，想要排序必须使用 order by 子句 • 对于 ASSM 有三个重要的选项： • PCTFREE • INITRANS ：默认值 2 ，高并发会设置更大一些 • COMPRESS/NOCOMPRESS ：启用 / 禁用压缩 3. 索引组织表（ IOT ） • 以索引结构存储的表 • 使用场景： • 信息检索 • 空间数据 • OLAP 应用 • 创建，使用 organization index 子句： create table tbl( name varchar2(20), age int )

I want to split a string with two words like "word1 word2" using split and partition and print (using a for) the words separately like: Partition: word1 word2 Split: word1 word2 This is my code: print("Hello World") name = raw_input("Type your name: ") train = 1,2 train1 = 1,2 print("Separation with partition: ") for i in train1: print name.partition(" ") print("Separation with split: ") for i in train1: print name.split(" ") This is happening: Separation with partition: ('word1', ' ', 'word2') ('word1', ' ', 'word2') Separation with split: ['word1', 'word2'] ['word1', 'word2'] Floris A

参考资料： 1. https://www.cnblogs.com/cjm123/p/8033639.html 来源： https://www.cnblogs.com/jycjy/p/11582482.html

从kafka接收的键/值对。这还包括一个主题名称和一个从中接收记录的分区号，一个指向Kafka分区中的记录的偏移量以及一个由相应ProducerRecord标记的时间戳。 构造方法 ConsumerRecord(java.lang.String topic, int partition, long offset, K key, V value) 创建一条记录，以从指定的主题和分区接收（为与Kafka 0.9兼容，在消息格式支持时间戳和公开序列化的元数据之前提供了与记录的兼容性）。 ConsumerRecord(java.lang.String topic, int partition, long offset, long timestamp, org.apache.kafka.common.record.TimestampType timestampType, long checksum, int serializedKeySize, int serializedValueSize, K key, V value) ConsumerRecord(java.lang.String topic, int partition, long offset, long timestamp, org.apache.kafka.common.record.TimestampType