grep

今天运营出了点问题，需要对特定时间段充值数做一个处理，文件格式有特定要求，要符合erlang的格式 {roleID,gold}. mysql导出所有数据 结果如下【取部分数据看】： =================================== kuwo 4 50004106230500 100 kuwo 4 50004106230900 10 agent server role_id **** uu178 5 380005100002500 300 agent server role_id **** uu178 6 380006100000600 200 uu178 6 380006100110500 20 agent server role_id **** yy365 1 860001100008000 2000 yy365 1 860001100008100 1900 。 。 。 =================================== 首先去掉表头信息： cat log.txt | grep -v agent kuwo 4 50004104005100 50 kuwo 4 50004104284100 1000 kuwo 4 50004105824300 1000 kuwo 4 50004106230500 100 kuwo 4

正则表达式，就是一个字符串。有一定的规律。我们用指定的字符串匹配一个指定的行。指定的字符串就是正则表达式。 正则表达式有这几个工具：grep egrep sed awk 命令：gerep 说明：过滤出指定的行 选项：--color 关键字有颜色 -n 显示行号 -c 显示一共出现了多少行 -v 取反 不包含指定字符的行 -A n n指数字 例如A2在有指定字符的行下面再显示两行 -B n n指数字 例如B2 在有指定字符的行上面再显示两行 -C n n指数字 例如C2 在有指定字符的行上面和下面再显示各两行 -r 显示目录里的所以带指定字符的行 -rh 显示目录里的所以带指定字符的行并不显示文件路径和文件名 grep 过滤出有root的行 [root@wangshaojun ~]# grep --color 'root' /etc/passwd root :x:0:0: root :/ root :/bin/bash operator:x:11:0:operator:/ root :/sbin/nologin grep -n [root@wangshaojun ~]# grep -n 'root' /etc/passwd 1:root:x:0:0:root:/root:/bin/bash 11:operator:x:11:0:operator:/root:/sbin/nologin

一，redis介绍 redis是一个key-value存储系统。和memcached类似，它支持存储的value类型相对更多，包括string（字符串），list（列表），set（集合），zset（sorted set---有序集合）和hash（哈希类型）。与memcached一样，为了保证效率，数据都是缓存在内存中。区别是redis会周期性地把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现master-slave（主从）同步。 Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcacehd这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了java，C/C++，C#，php，javaScript，Perl，Object-C，python，Ruby等客户端，使用很方便。 如果简单的比较redis与memcached的区别，基本上有以下3点： 1，redis不仅仅支持简单的key/value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 2，redis支持数据的备份，即master-slave模式的数据备份。 3，redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 在Reids中，并不是所有的数据都一直存储在内存中

举例： Linux shell命令应该算是非常入门的东西，但是实际上在使用的时候，会遇到各种各样的问题， 前几天我在我们的项目上需要做一个功能，根据进程名字杀死这个进程，下面是过程 1、我们正常需要的操作是 $ps |grep xxx $kill -9 xx 2、kill命令是常用的，但是用killall命令会更快 $killall -9 xxx 3、令我困扰的是我用的那个没有killall然后我做了下面的操作 $adb shell ps |grep speech |awk '{print $2}' > 1.txt $cat 1.txt |xargs -n1 adb shell kill -9 我用这个的原因是用一条指令重定向总是各种问题，正常情况下用这条就可以了 $adb shell ps |grep speech |awk '{print $2}'|xargs -n1 kill -9 常用命令： 关机/重启 关机（必须用root用户） shutdown -h now ## 立刻关机 shutdown -h +10 ## 10分钟以后关机 shutdown -h 12:00:00 ##12点整的时候关机 halt # 等于立刻关机 重启 shutdown -r now reboot # 等于立刻重启 echo root@ubuntu:~# a="hello,world" root

注：本文基于 https://blog.51cto.com/14227204/2474670 一、监控主机内存使用情况 1、在服务器上部署agent客户端 [root@agent /]# mkdir /zabbix # 个人习惯，可忽略 [root@agent /]# cd /zabbix/ [root@agent /]# rz [root@agent zabbix]# tar zxf zabbix-3.2.1.tar.gz [root@agent zabbix]# cd zabbix-3.2.1/ [root@agent zabbix-3.2.1]# useradd -M -s /sbin/nologin zabbix [root@agent zabbix-3.2.1]# ./configure --prefix=/usr/local/zabbix --enable-agent && make && make install [root@agent zabbix-3.2.1]# cp misc/init.d/fedora/core/zabbix_agentd /etc/init.d/ [root@agent /]# sed -i 's/BASEDIR=\/usr\/local/BASEDIR=\/usr\/local\/zabbix/g' /etc/init.d/zabbix

原因： 由于其他原因，或者odoo内部服务自动停止掉，需要一个脚本来监测状态，自动启动。 步骤： 1、在任意目录下新建shell脚本odoodaemon.sh 1 #!/bin/sh 2 # ckconfig: 2345 20 81 3 4 while true; 5 do 6 processExist=`ps aux | grep odoo12 | grep -v "grep"` 7 if [ -z $processExist ];then 8 echo "proecss is restarted" 9 systemctl start odoo12 # 启动程序的脚本所在的绝对路径 10 else 11 echo "process is running" 12 fi 13 sleep 60 #每 60s检查一次 14 done 2、把脚本移动到/etc/rc.d/init.d/下 mv odoodaemon.sh /etc/rc.d/init.d/ 3、给权限 chmod u+x odoodaemon.sh 4、加入到系统服务 chkconfig --add odoodaemon.sh 5、启动 systemctl start odoodaemon 6、加入开启自动启动 chkconfig odoodaemon.sh on 7、查看 chkconfig --list

线上程序出问题，往往需要查看日志来排查问题，根据日志排查问题也先手操作。 下面操作下使用grep定位日志命令的使用 有几个零碎的关键词，如何快速定位日志 语法： grep “关键词1” file | grep “关键词2 | grep “关键词n” grep "20533" app.log | grep "DZMETIS" 此时，可能不是想要的结果，毕竟还是想看到异常堆栈 此时，可以根据上面的日志内容重新grep，并且查询grep内容给的后面100行 grep -A 100 "请求参数：OutputTaxInvApplyDto(requestNo:20533, systemCode:DZME" app.log - grep命令的其他简单用法—知识点 grep -C 5 foo file 显示file文件里匹配foo字串那行以及上下5行 grep -B 5 foo file 显示foo及前5行 grep -A 5 foo file 显示foo及后5行 grep -E "word1|word2|word3" file.txt 满足任意条件（word1、word2和word3之一）将匹配。 grep word1 file.txt | grep word2 |grep word3 必须同时满足三个条件（word1、word2和word3）才匹配。 来源： https://www

1.mysql主从复制监控 在从库上创建脚本文件夹 [root@mysql-1 zabbix]# mkdir /etc/zabbix/scripts [root@mysql-1 zabbix]# cd /etc/zabbix/scripts 在从库上创建脚本，此处注意/app/mysql5.7/.config的权限和双主为600 和 zabbix.zabbix [root@mysql-1 scripts]# cat mysql_slave_status.sh /usr/bin/mysql --defaults-extra-file=/app/mysql5.7/.config -P2297 -e 'show slave status\G' |grep -E "Slave_IO_Running|Slave_SQL_Running"|awk '{print $2}'|grep -c Yes 在从库上修改权限和双主 [root@mysql-1 scripts]# chmod +x mysql_slave_status.sh [root@mysql-1 scripts]# chown zabbix.zabbix mysql_slave_status.sh [root@mysql-1 scripts]# ll total 4 rwxr-xr-x 1 zabbix zabbix 166 Oct

zabbix提供了一个java gateway的应用去监控jmx（Java Management Extensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。 服务端配置 zabbix server安装java gateway [root@zabbix ~]# yum install -y java java-devel zabbix-java-gateway [root@zabbix ~]# java -version openjdk version "1.8.0_181" OpenJDK Runtime Environment (build 1.8.0_181-b13) OpenJDK 64-Bit Server VM (build 25.181-b13, mixed mode) [root@zabbix ~]# service zabbix-java-gateway status Redirecting to /bin/systemctl status zabbix-java-gateway.service ● zabbix-java-gateway.service - Zabbix Java Gateway Loaded:

kubespray主机搭建 依据《CentOS7使用KubeSpray搭建单节点K8S集群》的环境部署和集群配置修改部分搭建kubespray主机 192.168.77.10 HOSTNAME = kubespray hostnamectl set-hostname " $HOSTNAME " echo " $HOSTNAME " > /etc/hostname echo " $( grep -E '127|::1' /etc/hosts ) " > /etc/hosts echo " $( ip a | grep "inet " | grep -v 127 | awk -F '[ /]' '{print $6 }' ) $HOSTNAME " >> /etc/hosts 集群节点列表 依据《CentOS7实验机模板搭建部署》克隆多台实验机，作为k8s集群的安装主机，数目随意，这里部署7节点的k8s集群环境 kubespray 192.168.77.10 2CPU,4G内存 master01 192.168.77.101 2CPU,4G内存 master01 192.168.77.102 2CPU,4G内存 master01 192.168.77.103 2CPU,4G内存 worker01 192.168.77.111 2CPU,8G内存 worker02 192.168.77