zabbix

Redis 企业级解决方案(缓存预热、缓存雪崩、缓存击穿、缓存穿透、性能指标监控)

戏子无情 提交于 2020-08-12 00:53:31
目录 一、缓存预热 二、缓存雪崩 三、缓存击穿 四、缓存穿透 五、性能指标监控 一、缓存预热 缓存预热就是系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓 存的问题!用户直接查询事先被预热的缓存数据! 宕机 :服务器启动后迅速宕机 问题排查: 1. 请求数量较高 2. 主从之间数据吞吐量较大,数据同步操作频度较高 解决方案: 前置准备工作: 1. 日常例行统计数据访问记录,统计访问频度较高的热点数据 2. 利用LRU数据删除策略,构建数据留存队列 例如:storm与kafka配合 准备工作: 1. 将统计结果中的数据分类,根据级别,redis优先加载级别较高的热点数据 2. 利用分布式多服务器同时进行数据读取,提速数据加载过程 3. 热点数据主从同时预热 实施: 1. 使用脚本程序固定触发数据预热过程 2. 如果条件允许,使用了CDN(内容分发网络),效果会更好 二、缓存雪崩 缓存雪崩就是瞬间过期数据量太大,导致对数据库服务器造成压力。如能够有效避免过期时间集中,可以有效解决雪崩现象的出现 (约40%),配合其他策略一起使用,并监控服务器的运行数据,根据运行记录做快速调整。 现象:数据库服务器崩溃(1) 1. 系统平稳运行过程中,忽然数据库连接量激增 2. 应用服务器无法及时处理请求 3. 大量408,500错误页面出现 4.

SELinux

北战南征 提交于 2020-08-11 18:57:53
SELinux yum install -y httpd /etc/init.d/httpd start vim /etc/sysconfig/selinux 将 disabled 改为 permissive 然后一定要 reboot 之后才生效 这个实验一定要开启 httpd 同时 selinux 一定不能是 disabled [root@server7 ~]# mkdir /happy [root@server7 ~]# touch /happy/zhouqi [root@server7 ~]# ls -Zd /happy/ drwxr-xr-x. root root system_u:object_r:default_t:s0 /happy/ [root@server7 ~]# ls -Z /happy/ -rw-r--r--. root root system_u:object_r:default_t:s0 zhouqi yum install -y policycoreutils.x86_64 policycoreutils-python.x86_64 semanage 命令需要 policycoreutils-python.x86_64 这个软件包是这个软件包的一部分 restorecon 命令需要 policycoreutils.x86_64 这个软件包

网络监控系统七大开源工具分析

馋奶兔 提交于 2020-08-11 17:58:36
不断提升企业形象及服务质量、节约成本是所有企业的需求。数字化进程的加速,企业基本都会面临线上办公、线上提供产品服务的情况。运维部门为确保企业中所有业务稳定运行,并满足业务不断扩张的发展需求,时刻肩负着极大的挑战。如何节省成本,提升运维工作效率,实现精准监控? 当下,部分企业倾向于用开源软件节约成本,开源产品如何选型?如何达到企业级效果?我们测试了七个开源产品:Zabbix、Nagios、Prometheus、SugarNMS、Ganglia、Open-Falcon和Cacti,这些产品都有稳固的用户基础且均有更新。我们重点测试了操作,管理工具、接口以及每个产品的监控能力,自动发现、应用场景等情况。 我们在Windows上测试了这七款产品,当然并不是这些产品不能在Linux上运行。 Zabbix 商业开源软件。一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。用户群体主要面向泛物联网企业,主要监控集群。 支持告警功能,具备扩展能力,可自定义监控指标,其主要采用mysql/postgresql存储监控数据,监控规模1000+左右。但缺少数据汇总功能,使用上不太方便。而且由于缺少中文资料,服务支持有限,学习成本和定制模板比较大。 Nagios Nagios是一款开源网络监视工具,适合监视大量服务器计算环境,集成了很多功能。可监控主机状态及网络设备等

zabbix生成月度统计报表

二次信任 提交于 2020-08-11 14:18:44
zabbix生成月度统计报表 SkTj 2018.10.20 09:59:14 字数 369 阅读 2,575 !/bin/bash ############################## @version 0.1 @date 2017-12-31 ############################## USER1="zabbix327" PASSWORD1="mm HOST1="ip" DATABASE1="zabbix" TABLE="students" ###################### rm -rf /tmp/zabbix_statics.csv mysql -h {USER1} -p {DATABASE1}<<EOF #2>/dev/null DROP TABLE if exists tmp_itemhost; DROP TABLE if exists tmp_trigger; DROP TABLE if exists tmp_triggeritem; CREATE TABLE tmp_itemhost ( hostid int(20), host varchar(1280), hostname varchar(1280), itemid int(20), itemname varchar(1280), itemkey varchar(1280),

Zabbix“专家坐诊”第71期问答汇总

天大地大妈咪最大 提交于 2020-08-11 13:27:18
Q:有办法可以看,所有系统自带监控项的配置语句吗,前端展示的都是键值可以看到这些键值的配置吗? A:你是说内置键取值的命令吗? Q:嗯嗯,对的 A:可能要看源码 Q:谢谢大佬,这些都是写源码里的吗?那知道大概在哪几个文件里的吗?最后生成的item的key中出现????这种,然后导致采集不到数据 A:截图看一下你的网卡名,还有那个生成的key Q:但是 自动发现规则就是拿到的设备名,因为 组 这个中文导致key中出现???? Q:大佬你好,想问一下,windows上使用net.if.discovery自动发现网卡时,网卡名中有中文,有推荐的解决方法吗? A:看一下生成的监控项键值,网卡有中文名有乱码,还是怎样,截个图看一下 Q:添加图片,标签修改了名称,拓扑上却不能显示,请教,5.0的版本 A:是不是缓存,换一个界面或者退出重新登录,再看 Q:zabbix服务器都重启过了 A:换一个浏览器看一下 Q:测试过3款浏览器都还是一样 A:你把那个界面截全一点,我看一下 Q:搞定了,是在拓扑的属性里面设置了图片的相关参数可以自定义名称了 Q:我的版本是5.0的,我想把这两个给关了,在模板里面也没有找着是哪个选项。 A:你去看一下自动发现那里 Q:是停用的状态。 A:你这个是告警,你截图,给全一点,我告诉你怎么关闭 Q: A:你点进去 Q:是这个吗? A:是的,点开触发器,然后把刚才的关掉 Q

Linux平台Zabbix Agent的安装配置

时光怂恿深爱的人放手 提交于 2020-08-11 12:34:47
这里简单总结一下 Linux 平台 Zabbix Agent 的安装配置,实验测试的 Zabbix 版本比较老了( Zabbix 3.0.9 ),不过版本虽然有点老旧,但是新旧版本的安装步骤、流程基本差别不大。这里的总结仅仅当成一个操作手册,后续会更新或添加部分内容。 Linux 版本众多,下面文档仅仅在 RHEL 、 CentOS 几个版本测试过。不同版本可能安装等有所差别,后续再补充完善。 1 :首先检查 zabbix_server 的版本 # zabbix_server --version zabbix_server (Zabbix) 3.0.9 Revision 67444 19 April 2017, compilation time: Apr 23 2017 18:05:43 Copyright (C) 2017 Zabbix SIA License GPLv2+: GNU GPL version 2 or later <http://gnu.org/licenses/gpl.html>. This is free software: you are free to change and redistribute it according to the license. There is NO WARRANTY, to the extent permitted by

ZABBIX数据库表结构解析

不羁岁月 提交于 2020-08-11 11:20:46
ZABBIX数据库表结构解析 下面开始介绍: 1.添加监控表结构详解 (1)hosts,存储被监控的机器的信息,表结构如下: (2)items (3)hosts_templates,存储机器和模版或者模版和模版之间的关系 由于模版和机器都存储在hosts表中,所以 hosts_templates和hosts 之间可以hostid关联也可以通过templateid关联。 (4)interface,存储了所有设备的ip和端口的数据。(由于hosts表中不仅保存了设备信息还保存了模版信息,所以统计实际监控的设备,此表更加准确) 2.数据存储表结构详解 将clock 转化为人性化时间: 3.报警相关表结构详解 (1)triggers 附 functions 表结构: (2)events 例子: 1. 找出某台主机的所有items ,含有某个key_的item , 统计items 总个数 SELECT * FROM HOSTS WHERE hostid=10157; SELECT * FROM items WHERE hostid=10157 AND key_ LIKE '%agent%'; SELECT COUNT(*) FROM items; 2. 找出触发trigger次数最多的事件,并按trigger 降序排列。 SELECT a.description, COUNT(*) cnt

自动化运维工具Ansible之LNMP实践环境部署

落花浮王杯 提交于 2020-08-11 04:41:29
Ansible-实战指南-LNMP环境部署,并使用zabbix监控 主机规划 系统初始化:必要的系统初始化 基础组件包括:zabbix监控,mariadb(用于存放zabbix监控信息) 业务组件包括:MySQL、memcached、nginx、PHP、haproxy、keepalived 添加用户账号 说明: 1、 运维人员使用的登录账号; 2、 所有的业务都放在 /app/ 下「yun用户的家目录」,避免业务数据乱放; 3、 该用户也被 ansible 使用,因为几乎所有的生产环境都是禁止 root 远程登录的(因此该 yun 用户也进行了 sudo 提权)。 1 # 使用一个专门的用户,避免直接使用root用户 2 # 添加用户、指定家目录并指定用户密码 3 # sudo提权 4 # 让其它普通用户可以进入该目录查看信息 5 useradd -u 1050 -d /app yun && echo ' 123456 ' | /usr/bin/ passwd -- stdin yun 6 echo " yun ALL=(ALL) NOPASSWD: ALL " >> /etc/ sudoers 7 chmod 755 /app/ 备注:记得在管理机 172.16.1.180 上实现对其他机器的免密登录。 Ansible 配置清单Inventory 1 [yun@ansi

zabbix部署

♀尐吖头ヾ 提交于 2020-08-11 02:52:11
ansible剧本 more /opt/shell/yaml/install_zabbix.yaml - hosts: "{{ host }}" tasks: - name: copy zabbix-3.2.3.tar.gz copy: src=/ope/shell/zabbix/ dest=/data/ mode=0755 - name: run install_zabbix.sh shell: bash /data/install_zabbix-agent.sh - name: del install_zabbix.sh shell: rm -rf /data/install_zabbix-agent.sh zabbix脚本 more /opt/shell/soft/zabbix/install_zabbix.sh #!/bin/bash . /root/.bash_profile yum install -y gcc cd /usr/local/src/zabbix groupadd zabbix useradd zabbix -g zabbix -s /sbin/nologin tar xzvf zabbix-3.2.3.tar.gz cd zabbix-3.2.3 ./configure --prefix=/data/zabbix --enable-agent make

mysql+zabbix部署二)

大憨熊 提交于 2020-08-11 00:00:31
zabbix安装完成后,能进入zabbix的页面后,并且在个人设置修改了中文显示后,进入zabbix; 问题 :创建模板或者监控项时报错如下: Error in query [INSERT INTO auditlog (userid,clock,ip,action,resourcetype,details,auditid) VALUES ('1','1562247337','173.132.146.111','0','5','名称: gaojing','1018')] [Incorrect string value: '\xE5\x90\x8D\xE7\xA7\xB0...' for column 'details' at row 1] 查阅资料后发现是mysql数据库字符集的问题: zabbix数据需要使用 utf-8 的字符集,但是我们创建的是 latin1 这个字符集; [root@zabbix ~]# cat /etc/my.cnf [mysqld] #skip-grant character_set_server = utf8 #添加字符集 把mysql的zabbix库导出,重启修改后导入: [root@zabbix ~]# mysqldump -uroot -pzabbix@123 zabbix > zabbix.sql Warning: Using a