info

5分钟带你体验一把 Kafka

余生颓废 提交于 2020-02-28 16:10:10
说在文章前面的话: 前置条件:你的电脑已经安装 Docker 主要内容: 使用 Docker 安装 使用命令行测试消息队列的功能 zookeeper和kafka可视化管理工具 Java 程序中简单使用Kafka 使用 Docker 安装搭建Kafka环境 单机版 下面使用的单机版的Kafka 来作为演示,推荐先搭建单机版的Kafka来学习。 以下使用 Docker 搭建Kafka基本环境来自开源项目:github.com/simplesteph… 。当然,你也可以按照官方提供的来:github.com/wurstmeiste… 。 新建一个名为 zk-single-kafka-single.yml 的文件,文件内容如下: version: '2.1' services: zoo1: image: zookeeper:3.4.9 hostname: zoo1 ports: - "2181:2181" environment: ZOO_MY_ID: 1 ZOO_PORT: 2181 ZOO_SERVERS: server.1=zoo1:2888:3888 volumes: - ./zk-single-kafka-single/zoo1/data:/data - ./zk-single-kafka-single/zoo1/datalog:/datalog kafka1: image:

通过 ApplicationContext 发布 TestApplicationEvent 事件

杀马特。学长 韩版系。学妹 提交于 2020-02-28 14:07:41
Spring 提供了非常多的扩展接口,官方将这些接口称之为钩子,这些钩子会在特定的时间被回调,以此来增强 Spring 功能,众多优秀的框架也是通过扩展这些接口,来实现自身特定的功能,如 SpringBoot、mybatis 等。 1、Aware 系列接口 Aware 从字面意思理解就是“知道”、“感知”的意思,是用来获取 Spring 内部对象的接口。A ware 自身是一 个顶级接口,它有一系列子接口,在一个 Bean 中实现这些子接口并重写里面的 set 方法后,Spring 容器启动时,就会回调该 set 方法,而相应的对象会通过方法参数传递进去。我们以其中的 ApplicationContextAware 接口为例。 ApplicationContextAware 大部分 Aware 系列接口都有一个规律,它们以对象名称为前缀,获取的就是该对象,所以 ApplicationContextAware 获取的对象是 ApplicationContext 。 public interface ApplicationContextAware extends Aware { void setApplicationContext(ApplicationContext applicationContext) throws BeansException; }

Python数据类型

喜夏-厌秋 提交于 2020-02-28 13:51:23
一.数字类型 1.bin()函数将十进制转换为二进制 2.oct()函数将十进制转换为八进制 3.hex()函数将十进制转换成十六进制 4.数字类型的特性:         1)只能存放一个值         2)一经定义,不可更改         3)直接访问  分类:整型,布尔,浮点,复数 二.字符串类型 1.引号包含的都是字符串类型 2.单引双引没有区别 3.字符串的常用操作:    1 # name='egon' #name=str('egon') 2 # print(type(name)) 3 4 5 #优先掌握 6 #1.移除空白strip 7 # msg=' hello ' 8 # print(msg) 9 # print(msg.strip()) 10 # 移除‘*’ 11 # msg='***hello*********' 12 # msg=msg.strip('*') 13 # print(msg) 14 #移除左边的 15 # print(msg.lstrip('*')) 16 #移除右边的 17 # print(msg.rstrip('*')) 18 19 #用处 20 while True: 21 name=input('user: ').strip() 22 password=input('password: ').strip() 23 if name

Git+Jenkins+Shell实现持续部署

旧巷老猫 提交于 2020-02-28 13:37:57
Git+Jenkins+Shell实现持续部署 ** 本文主要实现了在Centos7平台使用Git+Jenkins+Shell实现SpringCloud项目的持续部署,当然如果是使用其他的版本管理器如SVN也是可以参考本文进行配置,教程很详细每个步骤都会讲解,如有遗漏或者错误欢迎大家指正。** 1.安装Jenkins 因为Jenkins安装比较简单,只是一个war包安装Tomcat部署上去进行配置即可,同理部署需要安装Git和Maven直接安装好就行 1.1安装所需环境 按顺序安装好Jdk,Maven,Tomcat,Git 1.2启动服务 然后直接将jenkins.war放到tomcat的webapps目录下启动tomcat即可 1.3获取密码 启动后打开浏览输入地址:http://ip8080/jenkins访问Jenkins,会提示第一次访问需要密码 输入cat /root/.jenkins/secrets/initialAdminPassword,然后粘贴密码 1.4 JenKins离线 输入密码后会提示你的Jenkins实例似已离线。 直接搜索文件 [root@localhost ~]# find / -name "hudson.model.UpdateCenter.xml" /root/.jenkins/hudson.model.UpdateCenter.xml

5分钟带你体验一把 Kafka

倾然丶 夕夏残阳落幕 提交于 2020-02-28 13:12:25
Guide哥答应大家的 Kafka系列的第2篇原创文章。为了保证内容实时更新,我将相关文章也发送到了Gihub上!地址 :https://github.com/Snailclimb/springboot-kafka 相关阅读: 入门篇!大白话带你认识 Kafka! 前置条件:你的电脑已经安装 Docker 主要内容: 使用 Docker 安装 使用命令行测试消息队列的功能 zookeeper和kafka可视化管理工具 Java 程序中简单使用Kafka 使用 Docker 安装搭建Kafka环境 单机版 下面使用的单机版的Kafka 来作为演示,推荐先搭建单机版的Kafka来学习。 以下使用 Docker 搭建Kafka基本环境来自开源项目: https://github.com/simplesteph/kafka-stack-docker-compose 。当然,你也可以按照官方提供的来: https://github.com/wurstmeister/kafka-docker/blob/master/docker-compose.yml 。 新建一个名为 zk-single-kafka-single.yml 的文件,文件内容如下: version: '2.1' services: zoo1: image: zookeeper:3.4.9 hostname: zoo1 ports

IDEA开发spark本地运行

隐身守侯 提交于 2020-02-28 10:48:08
1.建立spakTesk项目,建立scala对象Test 2.Tesk对象的代码如下 package sparkTest /** * Created by jiahong on 15-8-2. */ import org.apache.spark.{SparkConf,SparkContext} object Test { def main(args: Array[String]) { if (args.length < 1) { System.err.println("Usage: <file>") System.exit(1) } val conf=new SparkConf().setAppName("Test").setMaster("local") val sc=new SparkContext(conf) val rdd=sc.textFile("/home/jiahong/sparkWorkSpace/input") //统计单词个数,然后按个数从高到低排序 val result=rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)) result.saveAsTextFile("/home

Spring(七)核心容器 - 钩子接口

天涯浪子 提交于 2020-02-28 09:59:23
目录 前言 1、Aware 系列接口 2、InitializingBean 3、BeanPostProcessor 4、BeanFactoryPostProcessor 5、ImportSelector 6、ImportBeanDefinitionRegistrar 7、FactoryBean 8、ApplicationListener 最后 前言 Spring 提供了非常多的扩展接口,官方将这些接口称之为钩子,这些钩子会在特定的时间被回调,以此来增强 Spring 功能,众多优秀的框架也是通过扩展这些接口,来实现自身特定的功能,如 SpringBoot、mybatis 等。 1、Aware 系列接口 Aware 从字面意思理解就是“知道”、“感知”的意思,是用来获取 Spring 内部对象的接口。Aware 自身是一个顶级接口,它有一系列子接口,在一个 Bean 中实现这些子接口并重写里面的 set 方法后,Spring 容器启动时,就会回调该 set 方法,而相应的对象会通过方法参数传递进去。我们以其中的 ApplicationContextAware 接口为例。 ApplicationContextAware 大部分 Aware 系列接口都有一个规律,它们以对象名称为前缀,获取的就是该对象,所以 ApplicationContextAware 获取的对象是

python数据类型、字符编码、文件处理

隐身守侯 提交于 2020-02-28 05:59:18
数据类型主要用一下 一二三点来进行分析#一:基本使用 1 用途 2 定义方式 3 常用操作+内置的方法 #二:该类型总结 1 存一个值or存多个值 只能存一个值 可以存多个值,值都可以是什么类型 2 有序or无序 3 可变or不可变 !!!可变:值变,id不变。可变==不可hash !!!不可变:值变,id就变。不可变==可hash 一:整型和浮点型 #整型int   作用:年纪,等级,身份证号,qq号等整型数字相关   定义:     age=10 #本质age=int(10) #浮点型float   作用:薪资,身高,体重,体质参数等浮点数相关 salary=3000.3 #本质salary=float(3000.3)浮点型和整型:没有可变不可变直说,存一个值 #二进制,十进制,八进制,十六进制 二:字符串 #作用:名字,性别,国籍,地址等描述信息 #定义:在单引号\双引号\三引号内,由一串字符组成 name='egon' #优先掌握的操作: #1、按索引取值(正向取+反向取) :只能取 #2、切片(顾头不顾尾,步长) #3、长度len #4、成员运算in和not in #1、按索引取值(正向取+反向取) :只能取 # msg='he lo' # print(msg[0]) # print(msg[2]) # msg[2]='A' #2、切片(顾头不顾尾,步长) # msg=

MapReduce的计数器

半城伤御伤魂 提交于 2020-02-28 03:45:24
第一部分.Hadoop计数器简述 hadoop计数器: 可以让开发人员以全局的视角来审查程序的运行情况以及各项指标,及时做出错误诊断并进行相应处理。 内置计数器(MapReduce相关、文件系统相关和作业调度相关), 也可以通过http://master:50030/jobdetails.jsp查看 MapReduce的输出: 运行jar包的详细步骤: [root@neusoft-master filecontent]# hadoop jar Traffic.jar /data/HTTP_20130313143750.dat /out2 17/02/01 19:58:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 17/02/01 19:58:18 INFO client.RMProxy: Connecting to ResourceManager at neusoft-master/192.168.191.130:8080 17/02/01 19:58:18 WARN mapreduce.JobResourceUploader: Hadoop command

Beats:使用Elastic Stack监控RabbitMQ

旧巷老猫 提交于 2020-02-28 02:31:50
RabbitMQ是一个开放源消息代理,创建于2007年以实现AMQP,并且在过去的十二年中,通过不断增加的插件列表,它已包括HTTP,STOMP,SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中,我们将详述如何使用Elastic Stack来监控RabbitMQ。 RabbitMQ简介 RabbitMQ是消息队列软件,也称为消息代理或队列管理器。 简单地说; 它是定义队列的软件,应用程序连接到该队列以传输一条或多条消息。 一条消息可以包含任何种类的信息。 例如,它可能具有有关应在另一个应用程序(甚至可能在另一个服务器上)上启动的过程或任务的信息,或者可能只是一条简单的文本消息。 队列管理器软件存储消息,直到接收应用程序连接并从队列中取出消息为止。 接收应用程序然后处理该消息。 消息队列的基本体系结构很简单-有一些称之为生产者(producers)的客户端应用程序,它们可以创建消息并将其传递到代理(消息队列)。 其他应用程序(称为消费者,也即consumers)连接到队列并订阅要处理的消息。 软件可以充当消息的生产者或消费者,或者既充当消息的消费者又充当生产者。 存储在队列中的消息将被存储,直到消费者检索到它们为止。 在下面我们来具体介绍如何使用Elastic Stack来把我们想要的RabbitMQ日志导入到Elastic Stack中,并对日志进行分析。