topic

第91课：SparkStreaming基于Kafka Direct案例实战和内幕源码解密 /* * *王家林老师授课 http://weibo.com/ilovepains */ 每天晚上20：00YY频道现场授课频道68917580 1、作业内容：SparkStreaming基于Kafka Direct方式实现，把Kafka Direct理解成为像hdfs的数据源，SparkStreaming直接读取数据进行流处理。 2、之前的spark集群环境： spark 1.6.0 kafka_2.10-0.9.0.1 3、java开发SparkStreamingDirected，读取topic SparkStreamingDirected中的数据。 4、kafka中创建topic SparkStreamingDirected161，生产者输入数据。 5、将SparkStreamingDirected 在ecliplse中export打成jar包，提交spark运行，准备从kafka中读取数据。 6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 ： -com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected

转载： https://blog.csdn.net/henlf/article/details/82085685 https://blog.csdn.net/uniquecapo/article/details/79292965 https://blog.csdn.net/yuan_xw/article/details/51210954 1 kafka 是什么 Apache kafka is a distributed streaming platform，即官方定义 kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。它有四个关键概念： topic kafka 把收到的消息按 topic 进行分类，因此可以理解为 topic 是一种类别 producer 往 kafka 发送消息的用户 consumer 接收 kafka 消息的用户 borker kafka 集群可以由多个 kafka 实例组成，每个实例（server）称为 broker 无论是 kafka broker 本身，还是 producer 或者 consumer，都依赖于 zookeeper 集群保存一些 meta 信息，保证系统可用性，以及使用 zookeeper 的选举机制。 2 消息队列实现原理

创建topic： [root@zookeep-kafka-node1 bin]# ./kafka-topics.sh --create --zookeeper 10.23.209.70:2181,10.23.209.71:2181,10.23.209.72:2181 --replication-factor 3 --partitions 3 --topic test Created topic test. 显示topic： [root@zookeep-kafka-node1 bin]# ./kafka-topics.sh --describe --zookeeper 10.23.209.70:2181,10.23.209.71:2181,10.23.209.72:2181 --topic test Topic:test PartitionCount:3 ReplicationFactor:3 Configs: Topic: test Partition: 0 Leader: 70 Replicas: 70,72,71 Isr: 70,72,71 Topic: test Partition: 1 Leader: 71 Replicas: 71,70,72 Isr: 71,70,72 Topic: test Partition: 2 Leader: 72 Replicas: 72,71

写在前面的话 本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。 为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 Exactly Once 即正好一次语义 操作的原子性 有状态操作的可恢复性 Exactly Once 《 Kafka背景及架构介绍 》一文中有说明Kafka在0.11.0.0之前的版本中只支持 At Least Once 和 At Most Once 语义，尚不支持 Exactly Once 语义。 但是在很多要求严格的场景下，如使用Kafka处理交易数据， Exactly Once 语义是必须的。我们可以通过让下游系统具有幂等性来配合Kafka的 At Least Once 语义来间接实现 Exactly Once 。但是： 该方案要求下游系统支持幂等操作，限制了Kafka的适用场景 实现门槛相对较高，需要用户对Kafka的工作机制非常了解 对于Kafka Stream而言，Kafka本身即是自己的下游系统，但Kafka在0.11.0.0版本之前不具有幂等发送能力 因此，Kafka本身对 Exactly Once 语义的支持就非常必要。 操作原子性 操作的原子性是指，多个操作要么全部成功要么全部失败，不存在部分成功部分失败的可能。 实现原子性操作的意义在于： 操作结果更可控，有助于提升数据一致性 便于故障恢复。因为操作是原子的

Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于分布式系统来说，尤其当集群规模上升到一定程度后，一台或者多台机器宕机的可能性大大提高，对Failover要求非常高。因此，Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 Kafka为何需要High Available 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步模式则Producer会在尝试重新发送 message.send.max.retries （默认值为3）次后抛出Exception，用户可以选择停止发送后续数据也可选择继续选择发送。而前者会造成数据的阻塞

1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表 ], "partitionId编号": [ 同步副本组brokerId列表 ], ....... } } Example: { "version": 1, "partitions": { " 0 ": [ 1, 2 ], " 1 ": [ 2, 1 ], " 2 ": [ 1, 2 ], } } 说明：紫红色为patitions编号，蓝色为 同步副本组brokerId列表 2.partition状态信息 /brokers/topics/[topic]/partitions/[0...N] 其中[0..N]表示partition索引号 /brokers/topics/[topic]/partitions/[partitionId]/state Schema: { "controller_epoch": 表示kafka集群中的中央控制器选举次数, "leader": 表示该partition选举leader的brokerId, "version": 版本编号默认为1, "leader

A: Distance Write a program which calculates the distance between two points P1(x1, y1) and P2(x2, y2). Input Four real numbers x1, y1, x2 and y2 are given in a line. Output Print the distance in real number. The output should not contain an absolute error greater than 10^-4. Sample Input 0 0 1 1 Sample Output 1.41421356 题目大意 计算两点P1(x1, y1)和P2(x2, y2)之间的距离。输入输出是实数类型，绝对值误差不能超过10^-4. #include <bits/stdc++.h> using namespace std; int main(){ double x1, y1, x2, y2; cin >> x1 >> y1 >> x2 >> y2; double dis = sqrt((x1-x2)*(x1-x2)+(y1-y2)*(y1-y2)); cout << fixed << setprecision(5) << dis; //

1： 　　queue与topic两种魔术。queue是“该队列所有的监听者总共消费1次”；topic是“该所有的订阅者都会消费1次” //连接配置 private String userName = "admin"; private String password = "admin"; private String url = "tcp://192.168.8.65:61616"; private String queueName = "Qtest_queue"; private String topicName = "Ttest_topic"; 　　　1.1 queue队列消息 　　　　1.1.1 生产者 /** * 队列模式：生产者 */ @Test public void queueProduce() throws JMSException { // #1 创建连接工厂 ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(userName, password, url); // #2 从工厂获得连接connectino Connection connection = factory.createConnection(); // #3 启动访问 connection.start(); // #4

Finding a Word Write a program which reads a word W and a text T, and prints the number of word W which appears in text T T consists of string Ti separated by space characters and newlines. Count the number of Ti which equals to W. The word and text are case insensitive. Constraints The length of W ≤ 10 W consists of lower case letters The length of T in a line ≤ 1000 Input In the first line, the word W is given. In the following lines, the text T is given separated by space characters and newlines. "END_OF_TEXT" indicates the end of the text. Output Print the number of W in the text. Sample

A: Toggling Cases Write a program which converts uppercase/lowercase letters to lowercase/uppercase for a given string. Input A string is given in a line. Output Print the converted string in a line. Note that you do not need to convert any characters other than alphabetical letters. Constraints The length of the input string < 1200 Sample Input fAIR, LATER, OCCASIONALLY CLOUDY. Sample Output Fair, later, occasionally cloudy. 题目大意 输入一个字符串，将大写字母变成小写，小写变成大写，并输出变化后的字符串。字符串长度小于1200。 #include <bits/stdc++.h> using namespace std; int main(){ string s; getline(cin, s); int len = s.size(); for(int i=0