partition

　　消息在经过拦截器、序列化后，就需要确定它发往哪个分区，如果在ProducerRecord中指定了partition字段，那么就不再需要partitioner分区器进行分区了，如果没有指定，那么会根据key来将数据进行分区，如果partitioner和key都没有指定，那么就会采用默认的方式进行数据分区。 　　有没有指定partition可以从源码中看出： public ProducerRecord(String topic, Integer partition, K key, V value) {} 如果指定的partition,那就指定了数据发往哪个分区上，如果没有就会根据key来进行数据分区，如果2个都没有，那么会采用默认的分区策略来进行数据分区 　Demo: public class CustomPartitioner { private static final Logger LOG = LoggerFactory.getLogger(CustomPartitioner.class); public static void main(String[] args) { //1.加载配置信息 Properties prop = loadProperties(); //2.创建生产者 KafkaProducer<Integer,String> producer = new

Producer ： 消息生产者，就是向kafka broker发消息的客户端。 Consumer ： 消息消费者，向kafka broker取消息的客户端 Topic ： 可以理解为一个队列。 Consumer Group （CG）： 这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic。 Broker ： 一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。 Partition： 为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer

Producer客户端负责消息的分发 kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含"集群中存活的servers列表"/"partitions leader列表"等信息； 当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接； 消息由producer直接通过socket发送到broker，中间不会经过任何"路由层"，事实上，消息被路由到哪个partition上由producer客户端决定； 比如可以采用"random"“key-hash”"轮询"等,如果一个topic中有多个partitions,那么在producer端实现"消息均衡分发"是必要的。 在producer端的配置文件中,开发者可以指定partition路由的方式。 Producer消息发送的应答机制 设置发送数据是否需要服务端的反馈,有三个值0,1,-1 0: producer不会等待broker发送ack 1: 当leader接收到消息之后发送ack -1: 当所有的follower都同步消息成功后发送ack request.required.acks=0 来源： https://blog.csdn.net/qq_20042935/article

对于磁盘的分区表 MBR与GPT区别。 MBR：MBR分区表(即主引导记录)大家都很熟悉，是过去我们使用windows时常用的。 所支持的最大卷：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区 GPT： GPT（即GUID分区表）。是源自EFI标准的一种较新的磁盘分区表结构的标准，是未来磁盘分区的主要形式。与MBR分区方式相比，具有如下优点。 突破MBR 4个主分区限制，每个磁盘最多支持128个分区。支持大于2T的分区，最大卷可达18EB。 对于 GPT 的分区，建议使用 parted 工具进行分区，fdisk 在 GPT 这块不是很好。 Parted 介绍 Parted 命令分为两种模式：命令行模式和交互模式。 命令行模式 parted [option] device [command] ,该模式可以直接在命令行下对磁盘进行分区操作，比较适合编程应用。如： 显示磁盘/dev/sdb分区。 parted /dev/sdb print 交互模式 parted [option] device 进入交互模式。尤其是对 parted 命令不是很熟悉的情况下建议使用交互模式。 parted /dev/sdb parted命令常用选项 进入 交互模式下， 输入 help 可以看到如下提示，本文基于 Parted 3.2 进行说明。 test@test01:~$ sudo

一 为什么需要消息系统 1.解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性 因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。 4.灵活性 & 峰值处理能力 在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。 5.可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。 6.顺序保证 在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka 保证一个 Partition 内的消息的有序性） 7.缓冲 有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。 8

之前主要介绍和学习了一些服务端和业务强相关的技术组件和框架，随着业务量的大幅度增加，单一的部署形式越来越不能满足服务的请求，那么业务的扩展就需要服务的增加，但是单纯的水平扩展是不能满足业务需求的，因此微服务就成了大家关注的对象，下面首先介绍下常用的协调系统Kafka： 一、Kafka设计的目的在于： 1、以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 2、高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 3、支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输。 4、同时支持离线数据处理和实时数据处理。 5、Scale out:支持在线水平扩展 二、Kafka的工作方式： Kafka就是一种发布-订阅模式（这个和celery有点像） 三、优点： 1、解耦： 2、冗余：可靠性------副本 3、扩展性： 4、灵活性： 5、可恢复性 6、顺序保证： 7、缓冲： 8、异步通信： 四：下面看下Kafka的整体结构图： 首先了解下Kafka组件中的基本概念： 1、Producer： 生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker将该消息 追加 到当前用于追加数据的segment文件中

Hive基本SQL操作 Hive DDL（数据库定义语言） 1、数据库的基本操作 --展示所有数据库 show databases; --切换数据库 use database_name; /*创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)]; */ create database test; /* 删除数据库 DROP (DATABASE|SCHEMA) [IF EXISTS] database_name [RESTRICT|CASCADE]; */ drop database database_name; 注意：当进入hive的命令行开始编写SQL语句的时候，如果没有任何相关的数据库操作，那么默认情况下，所有的表存在于default数据库，在hdfs上的展示形式是将此数据库的表保存在hive的默认路径下，如果创建了数据库，那么会在hive的默认路径下生成一个database_name.db的文件夹，此数据库的所有表会保存在database_name.db的目录下。 2、数据库表的基本操作 /*

mysql> create table stu(Id int(9) not null auto_increment, Name varchar(100) not null default '',Time datetime default null,primary key (Id,Time)) partition by range(to_days(Time))(partition p0 values less than (to_days('2015-03-21')),partition p1 values less than (to_days('2015-03-22'))); Query OK, 0 rows affected mysql> show create table stu; +-------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

lsmod 查看内存中加载的各种模块 locate xfs 快速查看 cat /proc/filesystems 查看操作系统所支持的文件系统 which xfs_info 查看xfs_info这个工具的路径是什么 rpm -qf `which xfs_info` 查询这个路径的工具来自于哪个包 lsblk -f 可以查看分区的文件系统 mkfs.ext4 /dev/sda6 给sda6分区创建ext4的文件系统 blkid 查看文件系统列表 mkfs.ext4 -L /data/mysql /dev/sda6 给sda6分区设置一个标签，叫/data/mysql mke2fs -t ext4 /dev/sdb1 mke2fs专门创建ext系列的文件系统，啥都不加默认是ext2文件系统，如果把ext2文件系统加-j 则加上日志功能，但是文件系统自动变成ext3 要想彻底清空分区，得使用 dd if=/dev/zero of=/dev/sdb1 bs=1M 用0填充sdb1分区，每块1M，直到填满为止，sdb1分区连文件系统都会被清掉的 dd if=/dev/zero of=/dev/sdb bs=1M 用0把分区表冲了，就没有分区了 mkfs.ext4 -b /dev/sdb1 指定sdb1分区的文件系统块大小为1024字节 tune2fs -l /dev/sdb1

(1.) 表空间及分区表的概念 表空间： 　　是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。 分区表： 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个表空间(物理文件上)，这样查询数据时，不至于每次都扫描整张表。 ( 2).表分区的具体作用 Oracle的表分区功能通过改善可管理性、性能和可用性，从而为各式应用程序带来了极大的好处。通常，分区可以使某些查询以及维护操作的性能大大提高。此外,分区还可以极大简化常见的管理任务，分区是构建千兆字节数据系统或超高可用性系统的关键工具。 分区功能能够将表、索引或索引组织表进一步细分为段，这些数据库对象的段叫做分区。每个分区有自己的名称，还可以选择自己的存储特性。从数据库管理员的角度来看，一个分区后的对象具有多个段，这些段既可进行集体管理，也可单独管理，这就使数据库管理员在管理分区后的对象时有相当大的灵活性。但是，从应用程序的角度来看，分区后的表与非分区表完全相同，使用 SQL DML 命令访问分区后的表时，无需任何修改。 什么时候使用分区表： 1、表的大小超过2GB。 2、表中包含历史数据，新的数据被增加都新的分区中。 (3).表分区的优缺点 表分区有以下优点