records

Kafka 提供了 3 种提交 offset 的方式 自动提交 复制 1 2 3 4 // 自动提交,默认true props.put( "enable.auto.commit" , "true" ); // 设置自动每1s提交一次 props.put( "auto.commit.interval.ms" , "1000" ); 手动同步提交 offset 复制 1 consumer.commitSync(); 手动异步提交 offset 复制 1 consumer.commitAsync(); 上面说了既然异步提交 offset 可能会重复消费, 那么我使用同步提交是否就可以表明这个问题呢？ 复制 1 2 3 4 5 6 7 while ( true ) { ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis( 100 )); records.forEach(record -> { insertIntoDB(record); consumer.commitSync(); }); } 很明显不行, 因为 insertIntoDB 和 commitSync() 做不到原子操作, 如果 insertIntoDB() 成功了，但是提交 offset 的时候 consumer 挂掉了

欢迎点击上方蓝字，关注啦~ 相关阅读： GAN整整6年了！是时候要来捋捋了！ 数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！ 有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！ 天降斯雨，于我却无！GAN用于去雨如何？ 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？ 容颜渐失！GAN来预测？ 弱水三千，只取你标！AL（主动学习）结合GAN如何？ 异常检测，GAN如何gan ? 虚拟换衣！速览这几篇最新论文咋做的！ 脸部妆容迁移！速览几篇用GAN来做的论文 【1】GAN在医学图像上的生成，今如何？ 01-GAN公式简明原理之铁甲小宝篇 今天主要是给大家呈上今年1月份在arxiv上的部分GAN论文（50多篇），涵盖各个方向的进展。 若有兴趣，也 可先读读下述 几首诗词 。 注：小编bryant8对 kobe bryant 的突然离世，心痛不已。心中之万千难过、言语实在难表。可见链接： 别了！ 科比布莱恩特！ 为此，私心在本文、穿插图致敬。 《临江仙·滚滚长江东逝水》 杨慎 滚滚长江东逝水，浪花淘尽英雄。 是非成败转头空。 青山依旧在，几度夕阳红。 白发渔樵江渚上，惯看秋月春风。 一壶浊酒喜相逢。古今多少事，都付笑谈中。 《大风歌》 刘邦 大风起兮云飞扬， 威加海内兮归故乡。 安得猛士兮守四方！ 《题韩蕲王庙》 尤侗 忠武勋名百战回，西湖跨蹇且衔杯。 英雄短气莫须有

欢迎点击上方蓝字，关注啦~ 相关阅读： GAN整整6年了！是时候要来捋捋了！ 数百篇GAN论文已下载好！搭配一份生成对抗网络最新综述！ 有点夸张、有点扭曲！速览这些GAN如何夸张漫画化人脸！ 天降斯雨，于我却无！GAN用于去雨如何？ 脸部转正！GAN能否让侧颜杀手、小猪佩奇真容无处遁形？ 容颜渐失！GAN来预测？ 弱水三千，只取你标！AL（主动学习）结合GAN如何？ 异常检测，GAN如何gan ? 虚拟换衣！速览这几篇最新论文咋做的！ 脸部妆容迁移！速览几篇用GAN来做的论文 【1】GAN在医学图像上的生成，今如何？ 01-GAN公式简明原理之铁甲小宝篇 今天主要是给大家呈上今年1月份在arxiv上的部分GAN论文（50多篇），涵盖各个方向的进展。 若有兴趣，也 可先读读下述 几首诗词 。 注：小编bryant8对 kobe bryant 的突然离世，心痛不已。心中之万千难过、言语实在难表。可见链接： 别了！ 科比布莱恩特！ 为此，私心在本文、穿插图致敬。 《临江仙·滚滚长江东逝水》 杨慎 滚滚长江东逝水，浪花淘尽英雄。 是非成败转头空。 青山依旧在，几度夕阳红。 白发渔樵江渚上，惯看秋月春风。 一壶浊酒喜相逢。古今多少事，都付笑谈中。 《大风歌》 刘邦 大风起兮云飞扬， 威加海内兮归故乡。 安得猛士兮守四方！ 《题韩蕲王庙》 尤侗 忠武勋名百战回，西湖跨蹇且衔杯。 英雄短气莫须有

2020年3月17日发布，Java正式发布了JDK 14 ，目前已经可以开放下载。在JDK 14中，共有16个新特性，本文主要来介绍其中的一个特性：JEP 359: Records 官方吐槽最为致命 早在2019年2月份，Java 语言架构师 Brian Goetz，曾经写过一篇文章(http://cr.openjdk.java.net/~briangoetz/amber/datum.html )，详尽的说明了并吐槽了Java语言，他和很多程序员一样抱怨“Java太啰嗦”或有太多的“繁文缛节”，他提到：开发人员想要创建 纯数据载体 类（plain data carriers）通常都必须编写大量低价值、重复的、容易出错的代码。如：构造函数、getter/setter、equals()、hashCode()以及toString()等。 以至于很多人选择使用IDE的功能来自动生成这些代码。还有一些开发会选择使用一些第三方类库，如Lombok等来生成这些方法，从而会导致了令人吃惊的表现（surprising behavior）和糟糕的可调试性（poor debuggability）。 那么，Brian Goetz 大神提到的纯数据载体到底指的是什么呢。他举了一个简单的例子： final class Point { public final int x; public final int y

2020年3月17日发布，Java正式发布了JDK 14 ，目前已经可以开放下载。在JDK 14中，共有16个新特性，本文主要来介绍其中的一个特性：JEP 359: Records 官方吐槽最为致命 早在2019年2月份，Java 语言架构师 Brian Goetz，曾经写过一篇文章( http://cr.openjdk.java.net/~briangoetz/amber/datum.html )，详尽的说明了并吐槽了Java语言，他和很多程序员一样抱怨“Java太啰嗦”或有太多的“繁文缛节”，他提到：开发人员想要创建 纯数据载体 类（plain data carriers）通常都必须编写大量低价值、重复的、容易出错的代码。如：构造函数、getter/setter、equals()、hashCode()以及toString()等。 以至于很多人选择使用IDE的功能来自动生成这些代码。还有一些开发会选择使用一些第三方类库，如Lombok等来生成这些方法，从而会导致了令人吃惊的表现（surprising behavior）和糟糕的可调试性（poor debuggability）。 那么，Brian Goetz 大神提到的纯数据载体到底指的是什么呢。他举了一个简单的例子： final class Point { public final int x; public final int

JDK 15已经在2020年9月15日发布！详情见 JDK 15 官方计划 。下面是对 JDK 15 所有新特性的详细解析！ 官方计划 2019/12/12 Rampdown Phase One (fork from main line) 2020/06/11 Rampdown Phase One (fork from main line) 2020/07/16 Rampdown Phase Two 2020/08/06 Initial Release Candidate 2020/08/20 Final Release Candidate 2020/09/15 General Availability 特性预览 339: 爱德华兹曲线数字签名算法（EdDSA） 360: Sealed Classes (Preview) 371: Hidden Classes 372: 移除 Nashorn JavaScript 引擎 373: 重新实现 DatagramSocket API 374: 禁用偏向锁 375: instanceof的模式匹配（Second Preview） 377: ZGC: 可扩展的低延迟垃圾收集器 378: 文本块 379: Shenandoah: 低暂停时间的垃圾收集器 381: 删除 Solaris 和 SPARC Ports 383: 外部存储器访问API

2014年12月29日 3779点热度 0人点赞 1条评论 小岑手里有一个免费一年的AWS EC2 和一个廉价VPS VULTR，于是做了个简单的对比 对比型号 VULTR: MEM:768M SSD:15G AWS MEM:1G unixbench测试 SSD:10G 下面是unixbench5.13的对比数据 VULTR ------------------------------------------------------------------------ Benchmark Run: Mon Dec 29 2014 21:55:44 - 22:24:16 1 CPU in system; running 1 parallel copy of tests Dhrystone 2 using register variables 41356491.1 lps (10.0 s, 7 samples) Double-Precision Whetstone 4049.2 MWIPS (13.0 s, 7 samples) Execl Throughput 5911.7 lps (30.0 s, 2 samples) File Copy 1024 bufsize 2000 maxblocks 1286933.1 KBps (30.0 s, 2 samples) File Copy

1、前言 　　在功能开发完毕，在本地或者测试环境进行测试时，经常会遇到这种情况：有专门的测试数据，测试过程会涉及到修改表中的数据，经常不能一次测试成功，所以，每次执行测试后，原来表中的数据其实已经被修改了，下一次测试，就需要将数据恢复。 　　我一般的做法是：先创建一个副本表，比如测试使用的user表，我在测试前创建副本表user_bak，每次测试后，将user表清空，然后将副本表user_bak的数据导入到user表中。 　　上面的操作是对一个table做备份，如果涉及到的table太多，可以创建database的副本。 　　接下来我将对此处的表结构复制以及表数据复制进行阐述， 并非数据库的复制原理 ！！！！ 　　下面是staff表的表结构 create table staff ( id int not null auto_increment comment '自增id', name char(20) not null comment '用户姓名', dep char(20) not null comment '所属部门', gender tinyint not null default 1 comment '性别：1男; 2女', addr char(30) not null comment '地址', primary key(id), index idx_1 (name,

前言 　　与生产者客户端一样，消费者端也由最初的scala版本过渡到现在的Java版本。 　　正常的消费者逻辑需要以下4个步骤： KafkaConsumer的客户端参数配置和对应实例； 订阅主题 拉取消息并消费 提交消费者位移 关闭消费者实例 　　消费者客户端比较特殊的一点是加入了消费者组的概念； KafkaConsumer消费者组 　　默认情况下： 一个消费者组中的每个消费者会分配到不同的分区； 一个topic中的消息只会被一个消费者组 消费一次 ； 若一个组中的消费者数量多于partition数量，会出现消费者不会被分配分区，也就消费不到消息（如下c7消费不到数据）； KafkaConsumer使用示例 1 public class KafkaConsumerAnalysis { 2 public static final String brokerList = "10.26.28.99:9092" ; 3 public static final String topic = "demo" ; 4 public static final String groupId = "group.demo" ; 5 public static final AtomicBoolean isRunning = new AtomicBoolean( true ); 6 7 public

Kafka 压力测试文档 1 概述 1.1 测试背景 在云平台研发SR IAD的过程中，出现SR IAD对硬件资源消耗较为严重的情况，其中在云平台研发中利用Kafka软件对流式数据进行数据处理。我们针对Kafka高吞吐量的特性，对kafka进行压力测试。 1.2 测试目标 测试kafka的吞吐性能(Producer/Consumer性能)。我们主要对分区、磁盘和线程等影响因素进行测试。 2 测试条件 6台配置相同的服务器搭建的两套相同的集群环境 2.1 测试环境 硬件条件 序号 硬件 配置 备注 1 CPU E5-2640v2 *2 2 内存 128G 3 硬盘 共挂载15块磁盘，剩余空间10T左右 4 网络 Intel I350 Gigabit Network Connection *4 Intel 82599ES 10-Gigabit SFI/SFP+ Network Connection *2 Intel I350 Gigabit Fiber Network Connection *2 使用 万兆网卡 5 Kafka 3台单磁盘服务组成的kafka集群 软件版本： 序号 软件 版本 备注 1 CentOS 7.3 2 Hadoop 2.7.3 3 HBase 1.1.7 4 Spark 1.6.2 5 Elastic Search 2.4.1 6 Scala 2.11.8 7