topic

查找ROS中的功能包： rospack find [packagename] 获得功能包集文件列表： rosls [packagename] 打开下属文件： roscd [directory] 使用 rosnode指令可以关注节点。 rosnode list可以看到当前所有节点。 rosnode info /$(节点名)可以看到该节点的所有信息。 使用rostopic可以关注话题。 rostopic list可以看到当前系统中的所有话题。 rostopic info /$ (话题名)可以看到该节点的所有话题。 监听某一个话题：rostopic echo /$ (话题名) 发布话题 rostopic pub /$(话题名) pub -r 是频率 用rosservice可以查看服务。 rosservice list 查看全部服务。 rosservice info /$ （服务名字）查看服务的信息 rosservice call /$ (服务信息) rosnode machine 显示当前运行设备名。 rosnode machine <machine-name> 显示该设备名下正在执行的节点名称： ①rostopic bw [topic] ：主题所使用带宽 ②rostopic echo [topic] ：消息输出 ③rostopic find [topic] ：查找主题

依赖于 zookeeper, 先搭建好 zookeeper 集群部署 1） 解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz 2） 修改解压后的 文件 名称 mv kafka_2.11-0.11.0.0/ /usr/local/kafka 3）在/usr/local/kafka目录下 创建 logs 文件夹 mkdir logs 4） 修改配置文件 cd config/ vi server.properties #broker的 全局唯一编号，不能重复 broker.id=1 #删除topic 功能使能 delete.topic.enable=true # 处理网络请求 的 线程数量 num.network.threads=3 #用来 处理磁盘 IO 的现成数量 num.io.threads=8 # 发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 # 接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 # 请求套接字的缓冲区大小 socket.request.max.bytes=104857600 #kafka 运行日志存放的路径 log.dirs=/usr/local/kafka/logs #topic 在当前 broker 上的分区个数 num.partitions

# 启动nginx /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf # 启动php /usr/local/php/sbin/php-fpm # 启动zookeeper /home/kafka/bin/zookeeper-server-start.sh -daemon /home/kafka/config/zookeeper.properties # 启动broker nohup /home/kafka/bin/kafka-server-start.sh /home/kafka/config/server.properties 1>/dev/null 2>&1 & # 停止zookeeper /home/kafka/bin/zookeeper-server-stop.sh # 停止broker /home/kafka/bin/kafka-server-stop.sh # 创建topic /home/kafka/bin/kafka-topics.sh --create --bootstrap-server 192.168.10.41:9092,192.168.10.42:9092 --replication-factor 1 --partitions 6 --topic test # 查看所有topic

本文未完成，有空再补充，不小心发布了，抱歉 Rocket版本：4.3.0 这几天在整RocketMQ，可谓是困难重重，其中关于控制台的命令，网上的都是一半一半的， 所以我打算直接用整一个完整的官方的命令的翻译以及使用详解。 其中很多命令我都没用过，反正我尽量将我用过的，知道的命令加以解释吧。 其他没用过的就原文代替，所以本文会随着我的使用而更新。 题外话： 关于broker.conf的问题 初始的broker.conf文件一开始只有 开头注释和几个配置项 ，其他配置项并没有在文件里显示，而且我在里面改了deleteWhen这个配置项的时候。 发现并没有生效，也是奇怪。 然后当我偶然用了控制台命令 updateBrokerConf 修改deleteWhen的时候，再去打开broker.conf文件，发现文件内容变成了全部的配置项，那个 开头的注释都不见了，这奇怪吧，如果有哪位仁兄知道的并且想告诉我怎么回事的话，欢迎私信。 命令我就参考网上他们的表格形式吧，好看一点，或者说如果网上只写了10个命令，那我就把剩下的都补上，所以相当于完善，不存在什么抄不抄袭。 原版命令 The most commonly used mqadmin commands are: updateTopic Update or create topic deleteTopic Delete topic from

Apache Kafka是一个分布式流式平台。 流平台有三个关键的能力： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 使用容错耐用的方式存储记录流。 记录产生时处理数据。 Kafka主要是用在两类应用中： 在收数端和实时计算或批处理计算框架之间做数据通道 作为处理流式数据的应用 ####为了解kafka怎么处理这些事情，需要先了解一下概念： Kafka是运行在一台或者多台服务器的集群上的，并且可以扩展到多个数据中心； Kafka集群以叫做topics的类别存储流记录； 每个记录都由key，value，timestamp组成； Kafka有4个核心API: Producer API : 应用程序发布流记录到一个或者多个Kafka topics; Consumer API : 应用程序订阅一个或者多个topics并且处理产生的数据； Streams API : 应用程序扮演着流处理器的角色，从一个或者多个输入流中消费数据并且将产生的数据输出到一个或者多个topic中。 Connector API：构建并且运行将Kafka topic连接到现有应用程序或数据系统的可重用生产者或消费者。 例如，关系数据库的连接器可能捕获对表的每个更改。 在Kafka中，客户端和服务器之间的通信是通过简单，高性能，语言无关的TCP协议完成的。 此协议已版本化并保持与旧版本的向后兼容性。

一、安装多节点ZooKeeper集群 下面就是在本机一台机器上安装3个节点的ZooKeeper集群，在多台机器上安装的方法和一台机器上是一样的，就是配置文件有微小的调整。 1.下载ZooKeeper包 https://www-us.apache.org/dist/zookeeper/stable/ 下载带bin的tar.gz文件，目前是apache-zookeeper-3.5.6-bin.tar.gz 解压 tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz 把解压文件移动到/usr/local sudo mv apache-zookeeper-3.5.6-bin /usr/local/ 2.创建配置文件 在ZooKeeper的conf目录下创建3个配置文件zoo1.cfg,zoo2.cfg,zoo3.cfg,如果是在多台服务器上安装ZooKeeper集群可以取相同的配置文件名字。 zoo1.cfg tickTime=2000 dataDir=/home/xl/zookeeper/data_logs/zookeeper1 clientPort=2181 initLimit=5 syncLimint=2 server.1=localhost:2888:3888 server.2=localhost:2889:3889 serve.3

Kafka 基本概述 什么是 Kafka Kafka 是一个分布式流式平台，它有三个关键能力 订阅发布记录流，它类似于企业中的 消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息系统 作为存储系统 作为流处理器 Kafka 可以建立流数据管道，可靠性的在系统或应用之间获取数据。 建立流式应用传输和响应数据。 Kafka 作为消息系统 Kafka 作为消息系统，它有三个基本组件 Producer : 发布消息的客户端 Broker：一个从生产者接受并存储消息的客户端 Consumer : 消费者从 Broker 中读取消息 在大型系统中，会需要和很多子系统做交互，也需要消息传递，在诸如此类系统中，你会找到源系统（消息发送方）和 目的系统（消息接收方）。为了在这样的消息系统中传输数据，你需要有合适的数据管道 这种数据的交互看起来就很混乱，如果我们使用消息传递系统，那么系统就会变得更加简单和整洁 Kafka 运行在一个或多个数据中心的服务器上作为集群运行 Kafka 集群存储消息记录的目录被称为 topics 每一条消息记录包含三个要素： 键（key）、值（value）、时间戳（Timestamp） 核心 API Kafka 有四个核心API，它们分别是 Producer API，它允许应用程序向一个或多个 topics 上发送消息记录

主机的IP地址： 主机IP地址 zookeeper kafka 10.19.85.149 myid=1 broker.id=1 10.19.15.103 myid=2 broker.id=2 10.19.189.221 myid=3 broker.id=3 配置文件： # cat zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/data dataLogDir=/data/zookeeper/log clientPort=2181 server.1=10.19.85.149:2888:3888 server.2=10.19.15.103:2888:3888 server.3=10.19.189.221:2888:3888 #maxClientCnxns=60 #autopurge.snapRetainCount=3 #autopurge.purgeInterval=1 注释：2888表示zookeeper程序监听端口，3888表示zookeeper选举通信端口。 按照上述指定： echo 1 > /data/zookeeper/data/myid echo 2 > /data/zookeeper/data/myid echo 3 > /data/zookeeper/data/myid

FreeSql （二十三）分组、聚合 IFreeSql fsql =2904628156 new FreeSql.FreeSqlBuilder() .UseConnectionString(FreeSql.DataType.MySql, "Data Source=127.0.0.1;Port=3306;User ID=root;Password=root;Initial Catalog=cccddd;Charset=utf8;SslMode=none;Max pool size=10") .Build(); [Table(Name = "tb_topic")] class Topic { [Column(IsIdentity = true, IsPrimary = true)] public int Id { get; set; } public int Clicks { get; set; } public int TestTypeInfoGuid { get; set; } public string Title { get; set; } public DateTime CreateTime { get; set; } } ISelect<Topic> select => fsql.Select<Topic>(); 分组聚合 var groupby = fsql.Select

一.通常关于文本聚类也都是针对已有的一堆历史数据进行聚类，比如常用的方法有kmeans,dbscan等。如果有个需求需要针对流式文本进行聚类(即来一条聚一条)，那么这些方法都不太适用了，当然也有很多其它针对流式数据进行动态聚类方法，动态聚类也有很多挑战，比如聚类个数是不固定的，聚类的相似阈值也不好设。这些都有待继续研究下去。本文实现一个简单sing-pass单遍聚类方法，文本间的相似度是利用余弦距离，文本向量可以用tfidf(这里的idf可以在一个大的文档集里统计得到，然后在新的文本中的词直接利用)，也可以用一些如word2vec,bert等中文预训练模型对文本进行向量表示。 二.程序 1 import numpy as np 2 import os 3 import sys 4 import pickle 5 import collections 6 from sklearn.feature_extraction.text import TfidfVectorizer 7 from sklearn.decomposition import TruncatedSVD 8 from gensim import corpora, models, matutils 9 from utils.tokenizer import load_stopwords, load_samples,