log文件

使用 Python 在 Linux 上实现一键回归测试

时间秒杀一切 提交于 2020-02-07 11:30:34
从代码库迁出代码 —- pexpect 的使用 测试人员从代码库(例如 CVS )迁出代码的过程中,需要手动输入访问密码,而 Python 提供了 Pexpect 模块则能够将手动输入密码这一过程自动化。当然 Pexpect 也可以用来和 ssh、ftp、passwd、telnet 等命令行进行自动化交互。这里我们以 CVS 为例展示如何利用 Pexpect 从代码库迁出代码。 清单 1. 用 pexpect 迁出代码库代码 try : chkout_cmd = 'cvs co project_code' #从代码库迁出 project_code 的内容 child = pexpect . spawn ( chkout_cmd ) child . expect ( 'password:' ) child . sendline ( 'your-password' ) #请替换"your-password"为真实密码 child . interact ( ) except : pass #忽略迁出代码中的错误 在清单 1 中,我们用命令”cvs co project_code”从代码库中迁出了 project_code 的内容,我们也可以用该命令来更新已经迁出的代码。只需要将命令”cvs update” 传给类 pexpect.spawn()即可,详细的实现请参考代码文件。这里

Ubuntu 搭建ELK

南笙酒味 提交于 2020-02-07 02:25:17
一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南:https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部。 Elasticsearch是实时全文搜索和分析引擎,提供搜集、分析、存储数据三大功能;是一套开放REST和JAVA API等结构提供高效搜索功能,可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志,包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志,这些来源包括 syslog、消息传递(例如 RabbitMQ)和JMX,它能够以多种方式输出数据,包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面,用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据

日志分析实践与应用

微笑、不失礼 提交于 2020-02-06 16:24:37
日志分析实践与应用 这个场景是,日志系统平时为了系统处理能力,我们使用INFO级别或ERROR级别,当发现问题时,我们需要不停服务的动态的将日志级别变更为DEBUG以便在执行细节发现问题,下面列举了动态变更的操作,需要借助代码、定时和配置中心服务。 在微服务的场景,日志是散落在各个服务集群节点中,不方便查看,所以我们需要通过集中收集到一处保存、查看和分析。 应用程序中日志的配置 logback.xml 1.在configuration中配置include,引用defaults.xml、console-appender.xml和file-appender.xml基础配置,可以复用变量、默认配置和策略。 2.定义一个stash的appender,配置目标主机和端口以及转码器用什么。通过配置将日志发送到统一日志管理平台进一步分析与保存。 注:对于推荐使用logback-spring.xml不使用logback.xml,官方也没有给出推荐理由,经测试logback.xml配置依然可用,也可以在变更后自动重启,所以没换,只是注意configuration属性scan不能设置为true,由spring来扫描即可。 具体配置如下: <?xml version="1.0" encoding="UTF-8"?> <configuration> <include resource="org

Traceview

匆匆过客 提交于 2020-02-06 14:12:01
转: http://www.cnblogs.com/devinzhang/archive/2011/12/18/2291592.html Traceview是android平台配备的一个很好的性能分析工具。它可以通过图形化的方式让我们了解我们要跟踪的程序的性能,并且能具体到method。 进行Traceview的版本限制 对于 Android 1.5 及以下的版本: 不支持 。 对于 Android 1.5 以上 2.1 下(含2.1)的版本: 受限支持 。trace文件只能生成到 SD卡 ,且必须在程序中加入代码。 对于 Android 2.2 上(含2.2)的版本:全支持。可以 不用SD卡 ,不用在程序中加代码,直接自己用DDMS就可以进程Traceview。 一、Android 1.5以上2.1下(含2.1)的版本中Traceview的使用 首先,必须在程序当中加入代码,以便生成trace文件,有了这个trace文件我们才可以将其转化为图形。 1.1、 启动追踪 使用Debug的以下静态方法方法来启动: static void startMethodTracing (String traceName) Start method tracing, specifying the trace log file name. 使用指定trace文件的名字和默认最大容量(8M

MySQL高可用方案——双主

我的未来我决定 提交于 2020-02-05 18:06:21
MySQL的高可用方案有很多种,双主、MHA、MMM等等,这里只是写下最简单的双主这种高可用方案。 一、配置MySQL互为主从 1、环境准备 系统 IP 主机名 服务 Centos 7.5 192.168.20.2 mysql01 MySQL+keepalived Centos 7.5 192.168.20.3 mysql02 MySQL+keepalived 注:MySQL已部署完成,可参考博文 Centos部署MySQL 5.7 进行部署。 2、开启二进制日志及中继日志 #主机mysql01配置文件如下: [root@mysql01 ~]# cat /etc/my.cnf [mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data port=3306 server_id=1 #server_id必须唯一 socket=/usr/local/mysql/mysql.sock log-error=/usr/local/mysql/data/mysqld.err log-bin=/usr/local/mysql/data/log_bin #指定二进制日志文件 relay-log=/usr/local/mysql/data/relay-bin #指定中继日志 relay-log-index=relay-bin

mysql主从备份及原理分析

拟墨画扇 提交于 2020-02-05 05:04:59
一.mysql主从备份(复制)的基本原理 mysql支持单向、异步复制,复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。mysql复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。因此,要进行复制,必须在主服务器上启用二进制日志。每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新。当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新,并在本机上执行相同的更新。然后封锁并等待主服务器通知新的更新。从服务器执行备份不会干扰主服务器,在备份过程中主服务器可以继续处理更新。    二.mysql主从备份配置方法 在进行mysql主从备份时,最好确保主从服务器的版本兼容。从服务器至少与主服务器版本相同或更高。    主机(master)配置: 1.修改mysql配置文件my.cnf 在[mysqld]标签下添加以下几行 [plain] view plain copy log-bin #开启二进制日志 server-id=id #主服务器id号 binlog-do-db=db_nameA #指定对db_nameA记录二进制日志 binlog-ignore-db=db_namB #指定不对db_namB记录二进制日志 注意: log-bin,server

mysql主从备份及原理分析

我怕爱的太早我们不能终老 提交于 2020-02-05 05:03:48
原文链接: http://blog.csdn.net/qmhball/article/details/8233769 一.mysql主从备份(复制)的基本原理 mysql支持单向、异步复制,复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器。mysql复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。因此,要进行复制,必须在主服务器上启用二进制日志。每个从服务器从主服务器接收主服务器已经记录到其二进制日志的保存的更新。当一个从服务器连接主服务器时,它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新,并在本机上执行相同的更新。然后封锁并等待主服务器通知新的更新。从服务器执行备份不会干扰主服务器,在备份过程中主服务器可以继续处理更新。    二.mysql主从备份配置方法 在进行mysql主从备份时,最好确保主从服务器的版本兼容。从服务器至少与主服务器版本相同或更高。    主机(master)配置: 1.修改mysql配置文件my.cnf 在[mysqld]标签下添加以下几行 [plain] view plain copy log-bin #开启二进制日志 server-id=id #主服务器id号 binlog-do-db=db_nameA #指定对db_nameA记录二进制日志 binlog

nginx worker进程循环

梦想的初衷 提交于 2020-02-04 12:46:09
  worker进程启动后,其首先会初始化自身运行所需要的环境,然后会进入一个循环,在该循环中不断检查是否有需要执行的事件,然后处理事件。在这个过程中,worker进程也是需要与master进程交互的,更有甚者,worker进程作为一个子进程,也是可以接收命令行指令(比如kill等)以进行相应逻辑的处理的。那么worker进程是如何与master或者命令行指令进行交互的呢?本文首先会对worker进程与master进程交互方式,以及worker进程如何处理命令行指令的流程进行讲解,然后会从源码上对worker进程交互的整个工作流程进行介绍。      1. worker与master进程交互方式      这里首先需要说明的是,无论是master还是外部命令的方式,nginx都是通过标志位的方式来处理相应的指令的,也即在接收到一个指令(无论是master还是外部命令)的时候,worker会在其回调方法中设置与该指令相对应的标志位,然后在worker进程在其自身的循环中处理完事件之后会依次检查这些标志位是否为真,是则根据该标志位的作用执行相应的逻辑。      对于worker进程与master进程的交互,其是通过socket管道的方式进行的。在ngx_process.h文件中声明了一个ngx_process_t结构体,这里我们主要关注其channel属性:      typedef

Mysql 高可用集群 ------ MHA

◇◆丶佛笑我妖孽 提交于 2020-02-04 11:53:34
文章目录 一、MHA 简介 二、部署 MHA 第一步:三台主从服务器安装 mysql 第二步:修改 mysql 的主配置文件:/etc/my.cnf ,注意三个服务器的 server-id 不能一样 第三步:三个服务器启动 mysql 服务 第四步:配置 Mysql 主从同步(一主两从) 第五步:安装 MHA 第六步:启动 MHA 一、MHA 简介: MHA(Master High Availability) (1)目前在MySQL高可用方面是一个相对成熟的解决方案,它由日本DeNA公司youshimaton(现就职于Facebook公司)开发,是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中,MHA能做到在0~30秒之内自动完成数据库的故障切换操作,并且在进行故障切换的过程中,MHA能在最大程度上保证数据的一致性,以达到真正意义上的高可用。 (2)该软件由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。MHA Manager可以单独部署在一个独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上,MHA Manager会定时探测集群中的master节点,当master出现故障时

关于Oracle RMAN 自动恢复

限于喜欢 提交于 2020-02-04 03:59:32
在日常工作中,有时会需要进行Oracle数据库恢复,比如搭建测试环境、查找历史数据、恢复测试等。可以通过计划任务或nohup等方式来执行恢复脚本从而提高整个操作的效率,特此记录. 这里使用的测试环境如下: OS Platform Red Hat Enterprise Linux Server release 5.4 (Tikanga)- 64bit Database Oracle Database 11g Enterprise Edition Release 11.2.0.1.0- 64bit 1. 在需要恢复数据库的机子(本文中为testsvr01)上安装Oracle软件 2. 将Oracle数据库的RMAN备份文件及相应的归档日志传输到目标机子(testsvr01), 并确保oracle用户有权限访问,可以通过 chown-R oracle:oinstall /backup_dir 命令 改变备份文件的属主 3. 在$ORACLE_HOME/dbs目录下编辑参数文件pfile以便于启动Oracle实例, 本文的pfile为initmydb.ora 可以在源库中通过create pfile 命令来创建pfile, 然后传到目标机子,修改相应的参数值 在pfile中, 注意以下几个参数的值 *.control_files='/data1/oradata/mydb/control01