topic

shell 脚本： 1）列出只有一个副本的topic，保存到一个文件中： [root@hdp05 src]# cat fush.sh #!/bin/bash # topics=`/usr/hdp/2.6.4.0-91/kafka/bin/kafka-topics.sh --zookeeper 192.168.50.101:2181 -list` for i in $topics;do replicsNum=`/usr/hdp/2.6.4.0-91/kafka/bin/kafka-topics.sh --zookeeper 192.168.50.101:2181 -describe --topic $i|grep ReplicationFactor|awk '{print $3}'|awk -F: '{print $2}'` if [ $replicsNum == 1 ];then echo $i >> /usr/local/src/topic.txt fi done 2）执行扩容副本操作 [root@hdp05 src]# vim exce.sh #!/bin/bash # #topics=`cat /usr/local/src/topic.txt` topics=`cat /usr/local/src/topic01.txt` for i in $topics;do leader

Django是 Python 中一个非常牛逼的web框架,他帮我们做了很多事，里边也提前封装了很多牛逼的功能，用起来简直不要太爽，在写网站的过程中，增删改查这几个基本的功能我们是经常会用到，Django把这系列复杂的逻辑性东西都封装成了方法，供我们直接使用，在使用过程中的体会是简单到令人发指，一个简单的例子给大家演示一下。 首先创建一个有多对一关系关联模型 我们假设有一个主题，主题下边会有很多内容，然后我们将主题和内容用多对一的ForeignKey字段关联起来,如下： # models.py from django.db import models from django.shortcuts import reverseclass Topic(models.Model): text = models.CharField(‘主题’, max_length=100) date_added = models.DateTimeField(‘添加时间’, auto_now_add=True) class Meta: ordering = [’-date_added’] verbose_name_plural = “主题” def str (self): return self.text class Entry(models.Model): topic = models.ForeignKey

1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper server】 --topic 【topic name】 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion 你可以通过命令：./bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic 此时你若想真正删除它，可以如下操作： （1）登录zookeeper客户端：命令：./bin/zookeeper-client （2）找到topic所在的目录：ls /brokers/topics （3）找到要删除的topic，执行命令：rmr /brokers/topics/【topic name】即可，此时topic被彻底删除。 另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin

初识 Kafka 什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的 基于发布订阅模式的消息引擎系统 。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为 消息 ，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会 分批次 写入 Kafka，批次就代指的是一组消息。 主题：消息的种类称为 主题 （Topic）,可以说一个主题代表了一类消息。相当于是对消息进行分类。主题就像是数据库中的表。 分区：主题可以被分为若干个分区（partition），同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的 伸缩性 ，单一主题中的分区有序，但是无法保证主题中所有的分区有序 生产者： 向主题发布消息的客户端应用程序称为 生产者 （Producer），生产者用于持续不断的向某个主题发送消息。 消费者：订阅主题消息的客户端程序称为 消费者 （Consumer），消费者用于处理生产者产生的消息。 消费者群组：生产者与消费者的关系就如同餐厅中的厨师和顾客之间的关系一样，一个厨师对应多个顾客，也就是一个生产者对应多个消费者， 消费者群组 （Consumer Group）指的就是由一个或多个消费者组成的群体。

如今是云的时代，许多公司都把自己的IT架构部署在基础架构云（IaaS）上。著名的IaaS提供商有 亚马逊 ，微软（ Azure ）， IBM 等，国内也有诸如 阿里云 等。这里亚马逊毫无疑问是该市场的领军者。 AWS提供了非常多的服务，领先了竞争对手一大截。并且AWS提供非常丰富的 API ，其API基于Rest，所以很容易被不同的语言的平台来调用。 在如今的大数据时代，利用数据在做决策是大数据的核心价值，AWS提供了许多服务来获取其运行数据 cloudtrail 和cloudwatch是经常被用到的两个。CloudTrail是对AWS的所有API调用的日志，CloudWatch是监控AWS服务的性能数据。（新出的Config服务可用于监控AWS的资源变化） 今天我们来看看如何使用Python（ Boto AWS的开源Python SDK）来自动配置ClouTrail的服务并获取日志内容。 我们先来看看CloudTrail的概念和相关的配置。 S3 Bucket 在打开CloudTrail的服务时，需要指定一个相关的S3的Bucket，S3是亚马逊提供的存储服务，你可以把它当作一个基于云的文件系统。CloudTrail的API调用日志，会以压缩文件的形式，存储在你指定的Bucket里。 SNS SNS是亚马逊提供的通知服务，该服务使用的是订阅／发布（Subsrcibe

一、点对点模式： 有提供者，和接收方 QueueProductor public static void main(String[] args) throws JMSException { //1、创建连接工厂 ActiveMQConnectionFactory connectionFactory = new ActiveMQConnectionFactory("tcp://192.168.200.128:61616"); //2、获取链接 Connection connection = connectionFactory.createConnection(); //3、启动连接 connection.start(); //4、获取session 参数1是否启动事务，参数2，消息确认模式 Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE); //5、创建队列对象 Queue queue = session.createQueue("test-queque"); //6、创建消息的生产者 MessageProducer producer = session.createProducer(queue); //7、创建消息 TextMessage textMessage = session

一、RabbitMQ消息队列介绍 RabbitMQ是在两个独立得python程序，或其他语言交互时使用。 RabbitMQ：erlang语言 开发的。 Python中连接RabbitMQ的模块：pika 、Celery(分布式任务队列) 、haigha 可以维护很多得队列 RabbitMQ 教程官网： http://www.rabbitmq.com/getstarted.html 几个概念说明： Broker:简单来说就是消息队列服务器实体。 Exchange:消息交换机，他制定消息按什么规则，路由到哪个队列。 Queue:消息队列载体，每个消息都会被投入一个或多个队列。 Binding:绑定，他的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key:路由关键字，exchange根据这个关键字进行消息投递。 vhost:虚拟主机，一个broker里可以设多个vhost,用作不同用户得权限分离。 producer:消息生产者，就是投递消息得程序。 consumer:消息消费者，就是接受消息得程序。 channel:消息通道，在客户端得每个连接里。可以建立多个channel，每个channel代表一个会话任务。 二、RabbitMQ基本示范 1.Rabbitmq安装 ubuntu系统 install rabbitmq-server # 直接搞定 ---

1.环境准备： 　　1.搭建zookeeper和kafka 　　2.向kafka中创建topic,并添加数据 　　./kafka-topics.sh --create --zookeeper 192.168.1.204:2181 --replication-factor 1 --partitions 3 --topic t1 　　./kafka-console-producer.sh --broker-list 192.168.1.204:9092 --topic t1 2.需求分析 　　从kafka中读取数据并将数据打印到控制台 3. 实例代码: 　　 flink-kafka-example 　　 　　 来源： https://www.cnblogs.com/glblog/p/11936892.html

　　物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段。其英文名称是：“Internet of things（IoT）”。顾名思义，物联网就是物物相连的互联网。这有两层意思：其一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；其二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，也就是物物相息。物联网通过智能感知、识别技术与普适计算等通信感知技术，广泛应用于网络的融合中，也因此被称为继计算机、互联网之后世界信息产业发展的第三次浪潮。 　　而在物联网的应用上，对于信息传输，MQTT是一种再合适不过的协议工具了。 一、MQTT简介 　　MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的轻量级协议，该协议构建于TCP/IP协议之上，MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。 　　MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（M2M

2.2 KAFKA命令行操作 1）查看当前服务器中的所有topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 2）创建topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明： --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数 3）删除topic [qingfeng@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic first 需要server.properties中设置delete.topic.enable=true否则只是标记删除。 4）生产消息 [qingfeng@hadoop102 kafka]$ bin/kafka-console-producer.sh \ --broker-list hadoop102:9092 --topic