实时监控

背景 这几天看到Flink学习群问了一个问题，就是他们想实时监控用户session行为轨迹，如果当前session下用户点击了A事件，1小时内用户没有点击B事件，实时流输出C事件 拿电商页面举例子 Flink相关知识点 1:flink状态，由于按session聚合，需要使用keyby+process函数 2:通过flink的KeyedProcessFunction内部实现状态管理 3:然后运用KeyedProcessFunction中的定时触发器onTimer，实时定时判断 注意点： TimerService 在内部维护两种类型的定时器（处理时间和事件时间定时器）并排队 执行。TimerService 会删除每个键和时间戳重复的定时器，即每个键在每个时间戳 上最多有一个定时器。如果为同一时间戳注册了多个定时器，则只会调用一次 onTimer()方法。 废话不多说，直接上代码 kafka代码： import java.util.Properties import kafka.producer.{KeyedMessage, Producer, ProducerConfig} import scala.io.Source object kafkaProduct { def test1() = { val brokers_list = "localhost:9092" val topic

效果预览 服务端方法getEnvinfo接口开发 1.依赖包安装（ssh协议工具包） pip install paramiko 2.主机配置 host = {'ip': ip, 'port': port, 'username': username, 'password': password} 3.远程执行命令并获取返回结果 #打开ssh客户端 ssh = paramiko.SSHClient() # 设置为接受不在known_hosts 列表的主机可以进行ssh连接 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) ssh.connect(hostname=host['ip'], port=host['port'], username=host['username'], password=host['password']) #获取内存信息 stdin, stdout, stderr = ssh.exec_command('sudo free -m|grep Mem') str_out = stdout.read().decode() totalmem = str(str_out).split(" ")[1].replace(" ","") freemem = str(str_out).split(" ")[2]

对java工程实时监控方式很多，本文主要讲在springboot框架中的监控。 springboot框架，自带了actuator监控，在pom中引入jar包即可，如下 1.引入jar <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency> 在2.0版本之后改动很大，我这里是用的2.0.2 2.启动项目后即可访问 http://localhost:8081/webproject/actuator/health http://localhost:8081/webproject/actuator/info 如果想让url个性化一点，在 application.propertie 配置文件中 加入 management.endpoints.web.base-path=/jiankong 那么就可以访问 http://localhost:8081/webproject/jiankong/health 3.actuator 提供了很多api（称为：节点） 默认只开放了 health、info两个节点 如果需要公开所有 则在配置文件中继续加入 management.endpoints.web

前言 话说搞运维的人没有两把“刷子”，都不好意思上服务器操作。还好，我还不是搞运维的，我一直都自诩是开发人员，奈何现在的东家运维人员“水”的一比，还要我这个自诩是开发的人撸起袖子亲自上阵，好吧，没有办法，重拾以前的命令，再次走起~~~ 说到运维，那就离不开监控磁盘了。而说到磁盘监控，那又不得不说道说道 iostat 命令了。这篇文章就对那个我曾经非常熟悉的 iostat 命令进行详细的总结。 命令详解 Linux系统中的 iostat 是I/O statistics（输入/输出统计）的缩写， iostat 工具将对系统的磁盘操作活动进行监视。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同 vmstat 一样， iostat 也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。 iostat 常用命令格式如下： iostat [参数] [时间] [次数] 命令参数说明如下： -c 显示CPU使用情况 -d 显示磁盘使用情况 -k 以K为单位显示 -m 以M为单位显示 -N 显示磁盘阵列(LVM) 信息 -n 显示NFS使用情况 -p 可以报告出每块磁盘的每个分区的使用情况 -t 显示终端和CPU的信息 -x 显示详细信息 下面就对我们常用的使用方式进行详细的总结。 使用实例 命令： iostat -x 说明：显示详细信息 输出： [user1

实时监控 top top: 能够实时监控系统的运行状态，并且可以按照cpu及内存等进行排序。 语法： top -hv | -bcHiOSs -d secs -n max -u|U user -p pid(s) -o field -w [cols] top参数 -h：帮助 -p: 监控指定的进程，当监控多个进程时，进程ID以逗号分隔。这个选项只能在命令行下使用。 top任务区命令 M: 按内存使用率排序 P:按CPU使用率排序 z:彩色/黑白显示。 top top中的load average:系统的运行队列的平均利用率，也可以认为是可运行进程的平均数。三个值分别表示 在最后的1分钟、5分钟、15分钟的平均负载值。 top说明 在单核cpu中load average 的值为1时表示满负荷状态。同理在多核cpu中满负载的load average的值为1*cpu核数。 命令： top -p 1,2 :表示只监控进程1和2 top -h :查看帮助命令 vmstat 可以监控操作系统的进程状态、内存、虚拟内存、磁盘IO、CPU的信息。 语法： vmstat [-a] [-n] [-S unit] [delay [count]] vmstat参数 -S: 使用指定单位显示。参数有k、K、m、M，分别代表1000、1024、1000000、1048576字节（byte）. 默认单位为K