topic

1.如何发布？ 1.1.业务层调用发送mq消息方法 asyncService.sendAliMqttMsg（）； //相关配置 public static final String TOPIC_TEST = "qbkj_test_mqtt" ; public static final String TOPIC_QUEUE = "qbkj_queue_mqtt" ; public static final String TOPIC_OBSERVE = "qbkj_observe_mqtt" ; /** 排号类型-登记台 */ public static final String QUEUE_TYPE_REG = "1" ; /** 排号类型-接种台 */ public static final String QUEUE_TYPE_INJECT = "2" ; //TODO:登记台叫号 Map < String , Object > param = new HashMap < String , Object >(); param . put ( "type" , WebSocket . QUEUE_TYPE_REG ); param . put ( "reg" , callList ); param . put ( "queueno" , bsRegQueue . getQueue (

1. Kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 Kafka具有以下特性： 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败） 高并发：支持数千个客户端同时读写 Kafka的使用场景： 日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer，例如hadoop、Hbase、Solr等。 消息系统：解耦和生产者和消费者、缓存消息等。 用户活动跟踪

ԭ kafka 清除topic数据脚本 2018年07月25日 16:57:13 pete1223 阅读数：1028 #!/bin/sh param= $1 echo "=============" echo ${param} echo "kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param}" kafka-topics.sh --zookeeper localhost:2181 --delete --topic ${param} #打印语句 echo "kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic ${param}" #执行命令 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic ${param} 输入 xxx.sh topicname 转载请标明出处: kafka 清除topic数据脚本 文章来源: kafka 清除topic数据脚本

两种方法： 一、修改配置文件server.properties 说明：官方给的文档说明“Enables delete topic. Delete topic through the admin tool will have no effect if this config is turned off”，意思就是说如果想删除topic，此项配置必须为true，默认为false。配置完重启kafka、zookeeper。 二、如果不想修改配置，也可以彻底删除topic 1、删除kafka存储目录（server.propertiewenjian log.dirs配置，默认为“/tmp/kafka-logs”）下对应的topic。(不同broker下存储的topic不一定相同，所有broker都要看一下) 2、进入zookeeper客户端删掉对应topic 以上两步全部执行才算彻底删除topic --------------------- 作者：桃花惜春风 来源：CSDN 原文：https://blog.csdn.net/xiaoyu_bd/article/details/52268647 版权声明：本文为博主原创文章，转载请附上博文链接！

什么是Kafka？ Kafka基本概念 Broker:物理概念，Kafka集群中的每个Kafka节点； Topic:逻辑概念，Kafka消息的类别，对数据进行区分、隔离； Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的； Replication（副本、备份）:同一个Partition可能会有多个Replica，多个Replica之间数据是一样的； Replication Leader:一个Partitionn的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互； ReplicaManager:负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息、Leader的选举等。 Kafka概念延伸 Partition(最小存储单元) 每一个Topic被切分为多个Partitions(Partition属于消费者存储的基本单位)； 消费者数目小于或等于Partition的数目（多个消费者若消费同个Partition会出现数据错误，所有Kafka如此设计)； Broker Group中的每一个Broker保存Topic的一个或多个Partitions

1.先找到数据所在的url 2.写代码获取数据，并保存 import requests import time import sys import os import xlwt, xlrd import xlutils.copy #传入要爬取的页数page,将获取的热门话题名称、类别、讨论数、阅读数存到二维列表中 def get_hot_topic(page): topic_list = [] session = requests.session() for i in range(page): print("\n*****正在获取第{}页*****".format(i + 1)) if i == 0: the_url = "https://m.weibo.cn/api/container/getIndex?containerid=100803" if i == 1: the_url = "https://m.weibo.cn/api/container/getIndex?containerid=100803&since_id=%7B%22page%22:2,%22next_since_id%22:6,%22recommend_since_id%22:[%22%22,%221.8060920078958E15%22,%221.8060920009434E15%22,0]%7D"

kafka知识总结 //切换到安装路径命令 cd /home/kafka/kafka_2.11-0.10.2.1/bin //启动kafka服务，三台主机分别输入此指令： ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //以后台的方式启动 nohup ./kafka-server-start.sh $KAFKA_HOME/config/server.properties & //查看topic名 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181 ./kafka-topics.sh --list --zookeeper 10.101.22.41:2181,10.101.22.42:2181,10.101.22.43:2181 //查询topic内容 ./kafka-console-consumer.sh --bootstrap-server 10.101.22.41:9092,10.101.22.42:9093,10.101.22.43:9094 --topic oth_cpd_active_realtime_data --from-beginning //查看某个Topic的详情 ./kafka-topics.sh --topic oth

本小节介绍如何使用数据传输 DTS (以下简称 DTS) 完成MySQL数据库数据同步至DataHub实例的配置，让数据可以实时进入流计算等大数据产品进行数据实时分析。 支持通过专线、VPN网关或智能网关接入阿里云的自建MySQL数据同步至Datahub实例。 支持ECS上的自建MySQL数据同步至Datahub实例。 支持同一个阿里云账号下RDS for MySQL实例数据同步至DataHub实例。 支持不同阿里云账号下的RDS for MySQL实例数据同步至DataHub实例。 同步对象 只支持表的同步，不支持其他非表对象的同步。 同步地域 源MySQL实例支持的地域包括： 华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北3(张北)、华北5(呼和浩特)、华南1(深圳)、美西(硅谷)、美东、亚太(新加坡)、香港、中东东部1(迪拜)、亚太东南3(吉隆坡)、澳大利亚(悉尼)、印度尼西亚(雅加达)、印度(孟买)、欧洲中部1(法兰克福) 目标Datahub实例支持的地域包括： 华东1(杭州)、华东2(上海)、华北2(北京) 如上图所示，MySQL->DataHub 数据实时同步，是将 MySQL 产生的增量数据实时同步到DataHub实例中的 topic。增量日志在DataHub实例中存储的表名默认同 MySQL 表同名。topic 名称可以根据业务需要修改

本小节介绍如何使用数据传输 DTS (以下简称 DTS) 完成MySQL数据库数据同步至DataHub实例的配置，让数据可以实时进入流计算等大数据产品进行数据实时分析。 支持通过专线、VPN网关或智能网关接入阿里云的自建MySQL数据同步至Datahub实例。 支持ECS上的自建MySQL数据同步至Datahub实例。 支持同一个阿里云账号下RDS for MySQL实例数据同步至DataHub实例。 支持不同阿里云账号下的RDS for MySQL实例数据同步至DataHub实例。 同步对象 只支持表的同步，不支持其他非表对象的同步。 同步地域 源MySQL实例支持的地域包括： 华东1(杭州)、华东2(上海)、华北1(青岛)、华北2(北京)、华北3(张北)、华北5(呼和浩特)、华南1(深圳)、美西(硅谷)、美东、亚太(新加坡)、香港、中东东部1(迪拜)、亚太东南3(吉隆坡)、澳大利亚(悉尼)、印度尼西亚(雅加达)、印度(孟买)、欧洲中部1(法兰克福) 目标Datahub实例支持的地域包括： 华东1(杭州)、华东2(上海)、华北2(北京) 如上图所示，MySQL->DataHub 数据实时同步，是将 MySQL 产生的增量数据实时同步到DataHub实例中的 topic。增量日志在DataHub实例中存储的表名默认同 MySQL 表同名。topic 名称可以根据业务需要修改

С̸ ： 帖主妥妥的一名"中"白了哈哈哈。软工的大三狗了，也即将找工作，怀着丝丝忐忑接受社会的安排。这是第一次写博客(/汗颜)，其实之前在学习探索过程中，走了不少弯路，爬过不少坑。真的挺感谢一路上的前辈们的博客也好，随笔也好，哪怕是评论，或多或少解决了一些问题。我感觉学技术的过程中，记录下自己解决问题的过程、经验，如果可以的话能分享，其实也挺好。希望能从“中白”变“大白”，再到佬行列哈哈。 简介： https://blog.csdn.net/qq_21383435/article/details/80032375 github ： https://github.com/isMaxaaa/bbs ） 步骤： 1.数据库设计： 1 CREATE TABLE user ( 2 user_id int(11) NOT NULL AUTO_INCREMENT, 3 user_name varchar(50) DEFAULT NULL, 4 email varchar(50) DEFAULT NULL, 5 replys int(11) DEFAULT NULL, 6 topics int(11) DEFAULT NULL, 7 create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, 8 praises int(11) DEFAULT