partition

由于之前阿里云服务器空间快满了，需要新增一块磁盘，现将操作步骤记录如下： 登陆阿里云，创建一块云盘，创建成功后，“云盘状态” 为“使用中”： 登陆CentOS系统，运行 fdisk -l [ root@iZ8vb2zp3hb2pskrfnjcrbZ ~ ] # fdisk -l .. . 磁盘 /dev/vdb：107.4 GB, 107374182400 字节，209715200 个扇区 .. . 找到对应的磁盘字符节点 /dev/vdb 使用fdisk命令对磁盘进行分区 [ root@iZ8vb2zp3hb2pskrfnjcrbZ ~ ] # fdisk /dev/vdb .. . 命令操作 a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition g create a new empty GPT partition table G create an IRIX ( SGI ) partition table l list known partition types m print this menu n add a new partition o create a new empty DOS partition table p

参数默认设置 auto.commit.interval.ms = 5000 check.crcs = true client.id = connections.max.idle.ms = 540000 enable.auto.commit = false exclude.internal.topics = true fetch.max.wait.ms = 500 fetch.min.bytes = 1 group.id = bigdata heartbeat.interval.ms = 3000 interceptor.classes = [ ] internal.leave.group.on.close = true isolation.level = read_uncommitted key.deserializer = class org.apache.kafka.common.serialization.StringDeserializer # 一次fetch请求，从一个broker中取得的records最大大小 fetch.max.bytes = 52428800 # 一次fetch请求，从一个partition中取得的records最大大小 # 如果在从topic中第一个非空的partition取消息时，如果取到的第一个record的大小就超过这个配置时

文章目录 一.入门 1.1 简介 Topics/logs Distribution Producers Consumers Guarantees 1.2 Use cases Messaging Websit activity tracking Log Aggregation 二. 设计原理 1.Persistence 2.Efficiency 3. Producer Load balancing Asynchronous send 4.Consumer 5.Message Delivery Semantics 6. Replication 7.Log 8.Distribution 总结: 三.主要配置 1.Broker主要配置 2.Consumer主要配置 3.Producer主要配置 前言: Kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设计要求,非常适合使用kafka。 一.入门 1.1 简介 Kafka是一个"分布式的"/“可分区的(partitioned)”/“基于备份的

云服务器环境：CentOS 6.2 64位 客户端环境：Mac OSX 远程连接方式：运行 Terminal，输入命令 ssh username@ip 硬盘分区及挂载操作步骤： 查看未挂载的硬盘（名称为/dev/xvdb） fdisk -l Disk /dev/xvdb doesn't contain a valid partition table 创建分区 fdisk /dev/xvdb ... 输入n Command (m for help):n 输入p Command action e extended p primary partition (1-4) p 输入1 Partition number (1-4): 1 回车 First cylinder (1-2610, default 1): Using default value 1 回车 Last cylinder, +cylinders or +size{K,M,G} (1-2610, default 2610): Using default value 2610 输入w Command (m for help): w The partition table has been altered! 格式化分区 mkfs.ext3 /dev/xvdb1 建立挂载目录 mkdir /data 挂载分区 mount /dev

Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文件，然后周期性地对这些文件进行统计分析。运营数据指的是服务器的性能数据（CPU、IO 使用率、请求时间、服务日志等等数据)。运营数据的统计方法种类繁多。 近年来，活动和运营数据处理已经成为了网站软件产品特性中一个至关重要的组成部分，这就需要一套稍微更加复杂的基础设施对其提供支持。 Kafka 简介 Kafka 是一种分布式的，基于发布 / 订阅的消息系统。 主要设计目标如下： 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。 支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个 Partition 内的消息顺序传输。

消息队列 为什么要用消息队列，都有什么优缺点？ 要问的是消息队列都有哪些场景，然后项目里具体实现的什么场景，你在这个场景里用的什么消息队列？ 期望的回答是， 你们公司有个什么业务，这个业务场景有什么技术挑战，如果不用MQ可能会很麻烦，但是你现在用了MQ带给你什么好处？ 场景比较多，但是比较核心的是3个： 解耦、异步、削峰 解耦 ​ 需要去考虑你负责的系统中是否有类似的场景，一个系统调用了多个系统和模块，互相之间的调用很复杂，维护起来很麻烦。但是这个调用并不需要直接同步调用接口，如果用MQ给它异步化解耦，也是可以的，你就需要 考虑在你的项目中，是不是可以运用这个MQ去进行解耦。在简历中体现出来 异步化 异步化可以大幅度提升高延迟接口的性能 削锋： 未使用MQ的时候： 使用MQ以后： 系统架构中引入MQ后可能存在的缺陷： 系统可用性降低：系统引入的外部依赖越多，越容易挂掉。 系统的复杂性更高：需要考虑的问题越多 一致性问题 问题2：kafka,activeMq,rabbitMq,rocketMq 都有什么优缺点？ 特性 ACTIVEMQ RABBITMQ ROCKETMQ KAFKA 单击吞吐量 万级吞吐量，相比RocketMq和Kafka要第一个数量级 万级，吞吐量相比RocketMq和 Kafka要低一个数量级 10万级，RocketMq也是可以支撑高吞吐的一种MQ 10万级别

转载，原文地址 https://www.cnblogs.com/liuwei6/p/6900686.html 一、 1、原理图 2、原理描述 一个topic 可以配置几个partition，produce发送的消息分发到不同的partition中，consumer接受数据的时候是按照group来接受，kafka确保每个partition只能同一个group中的同一个consumer消费，如果想要重复消费，那么需要其他的组来消费。 Zookeerper中保存这每个topic下的每个partition在每个group中消费的offset 新版kafka把这个offsert保存到了一个__consumer_offsert的topic下 这个__consumer_offsert 有50个分区，通过将group的id哈希值%50的值来确定要保存到那一个分区. 这样也是为了考虑到zookeeper不擅长大量读写的原因。 所以，如果要一个group用几个consumer来同时读取的话，需要多线程来读取，一个线程相当于一个consumer实例。当consumer的数量大于分区的数量的时候，有的consumer线程会读取不到数据。 假设一个topic test 被groupA消费了，现在启动另外一个新的groupB来消费test，默认test-groupB的offset不是0，而是没有新建立

虚拟机VMWARE上ORACLE License 的计算 https://www.cnblogs.com/kerrycode/p/3678553.html 其实 Oracle 很不建议在VMware进行安装. Oracle License的计算有两种方式：按照用户数和CPU个数. 其中按CPU计算方式如下： License Number = The Number of CPU Cores * Core Factor 其中Core Factor 可以参考官方文档 Oracle Processor Core Factor 。 如果Oracle 安装在VMWARE 上，是否也是按照这个方式计算呢？ 也就是说，在虚拟机VMWARE上Oracle的License计算是否也是按照分配CPU核数来计算的呢？ 关于虚拟机上ORACLE的License计算，ORACLE 引入了下面 Soft partitioning (软分区)和Hard partitioning (硬分区)概念(如下所示),而且明确规定 VMware是软分区，并且规定 Soft partitioning is not permitted as a means to determine or limit the number of software licenses required for any given server。

一、分区方法　 　　建分区表准备： 　　 1，创建4个测试用的表空间，每个表空间作为一个独立分区（考虑到Oracle中分区映射的实现方式，建议将表中的分区数设置为2的乘方，以便使数据均匀分布） create tablespace partition1 datafile '/home/oracle/app/oradata/orcl/partition1.dbf' size 20m; create tablespace partition2 datafile '/home/oracle/app/oradata/orcl/partition2.dbf' size 20m; create tablespace partition3 datafile '/home/oracle/app/oradata/orcl/partition3.dbf' size 20m; create tablespace partition4 datafile '/home/oracle/app/oradata/orcl/partition4.dbf' size 20m; 1）范围分区 　　 　　范围分区就是对数据表中的某个值的范围进行分区，根据某个值的范围，决定将该数据存储在哪个分区上。如根据序号分区，根据业务记录的创建日期进行分区等（联通每个月的账单记录就用的分区表存储）。 　　 CREATE TABLE

上图中一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本所在的机器的id恰好相同。 如果一个topic的副本数为3，那么Kafka将在集群中为每个partition创建3个相同的副本。集群中的每个broker存储一个或多个partition。多个producer和consumer可同时生产和消费数据。 一 。Broker Kafka 集群包含一个或多个服务器，服务器节点称为broker。 broker存储topic的数据。如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。 如果某topic有N个partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的一个partition，剩下的M个broker不存储该topic的partition数据。 如果某topic有N个partition，集群中broker数目少于N个，那么一个broker存储该topic的一个或多个partition。在实际生产环境中，尽量避免这种情况的发生，这种情况容易导致Kafka集群数据不均衡。 二。Topic 每条发布到Kafka集群的消息都有一个类别