log文件

Linux计划任务与日志的管理 本节所讲内容： 16.1 计划任务-at-cron-计划任务使用方法 16.1.1 计划任务的应用场景 计划任务在实际运用很多，现结合日常工作的实际例外列举几个： 1、管理的SQL 2008数据库时结合计划任务对重要数据库备份 2、管理的SQL 2008数据库时结合计划任务与批处理对规定时间前的备份数据进行删除 4、管理的WEB服务器会结合计划任务备份相关数据到其他服务器上 5、管理的WEB服务器会结合计划任务删除不需要的访问日志数据 等等 由此可见计划任务在我们的实际运维工作中得到很广泛的运用 16.1.2 crond 和 atd 说明 crond是定时性的，每隔一定的周期就要重复来做这个事情 atd是突发性的，只是在特定时间执行一次任务，完成后就结束 1）at计划任务的使用 [root@node-1 ~]# rpm -aq |grep atd [root@node-1 ~]# yum -y install at [root@node-1 ~]# systemctl start atd [root@node-1 ~]# systemctl status atd ● atd.service - Job spooling tools Loaded: loaded (/usr/lib/systemd/system/atd.service; enabled

CentOS7下部署Rsyslog+LogAnalyzer+MySQL中央日志服务器 一、对上述环境的简介 1、LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取，所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据，它可以处理syslog日志消息，Windows事件日志记录，支持故障排除，使用户能够快速查找日志数据中看出问题的解决方案。 2、LogAnalyzer 获取客户端日志会有两种保存模式，一种是直接读取客户端/var/log/目录下的日志并保存到服务端该目录下，一种是读取后保存到日志服务器数据库中，推荐使用后者。 3、LogAnalyzer 采用php开发，所以日志服务器需要php的运行环境，本文采用LAMP。 二、服务器环境 作用 系统 IP 主机名 日志服务器 CentOS7.4 192.168.26.71 log-srv 客户端 CentOS7.4 192.168.26.72 web 三、部署过程 1）环境准备 修改yum源为阿里或163源、时间同步等操作略 2）开始部署环境 在日志服务器上： A、部署lamp环境，yum安装 [root@log-srv ~]# yum -y install httpd php

mysql集群配置在网站负载均衡中是必不可少的； 首先说下我个人准备的负载均衡方式； 　　1、通过nginx方向代理来将服务器压力分散到各个服务器上； 　　2、每个服务器中代码逻辑一样； 　　3、通过使用redis缓存来保存内存中数据，使用redis同步功能来同步不同服务器内存中的数据； 　　4、在通过mysql的集群配置来实现数据库数据同步； 这里我整理了几种数据同步方式； 一：主从服务器同步； 　　顾名思义：主服务器负责数据的增删改查，从服务器负责同步数据； 　　主服务器建立二进制文件；每产生语句变化或磁盘变化写入日至； 　　从服务器读主服务二进制日至；将读到的日至转成从服务的relaylog，从服务读取relaylog同步主主服务器； 　　主服务器建立授权复制账号； 　　从服务器利用账号来监听主服务器； 　　步骤： 　　1、首先需要至少两台服务器，我这边118.xxx.xxx.1(主)，118.xxx.xxx.2(从)两台服务器；两台搭建mysql方式不同，一台安装mysql，和mysql-server;一台通过直接安装mariadb方式；没什么影响； 　　2、主服务器修改/etc/my.cnf;　　　　 #在[mysqld]下添加,建立二进制日至 #server-id一般用服务器后一位 server-id=1 log-binary=mysql-bin #监听变化方式

原博：http://www.cnblogs.com/yingpp/archive/2009/01/07/1371040.html 三种 备份方式 ：导入/导出（逻辑备份）; 热备份、冷备份（物理备份） １、 简单导出数据（Export）和导入数据（Import） Oracle支持三种方式类型的输出： （1）、表方式（T方式），将指定表的数据导出。 （2）、用户方式（U方式），将指定用户的所有对象及数据导出。 （3）、全库方式（Full方式），瘵数据库中的所有对象导出。 ２、 增量导出／导入 增量导出是一种常用的数据备份方法，它只能对整个数据库来实施，并且必须作为SYSTEM来导出。在进行此种导出时，系统不要求回答任何问题。导出文件名缺省为export.dmp，如果不希望自己的输出文件定名为export.dmp，必须在命令行中指出要用的文件名。 增量导出包括三种类型： （１）、“完全”增量导出（Complete） 即备份三个数据库，比如： exp system/manager inctype=complete file=040731.dmp （２）、“增量型”增量导出 备份上一次备份后改变的数据，比如： exp system/manager inctype=incremental file=040731.dmp （３）、“累积型”增量导出 累计型导出方式是导出自上次“完全

#---Install Rsync---# wget http://211.147.218.10:805/bench_soft/rsync-3.0.7.tar.gz tar zxf rsync-3.0.7.tar.gz cd rsync-3.0.7.tar.gz ./configure --prefix=/usr/local/rsync3.0.7/ make && make install #---rsync.conf---# #hosts allow = * default is all accepted #read only = true default is true #strict modes =yes default is yes #use chroot = no default is no uid = root gid = root port = port address = ip_address transfer logging = true log format = %o %h [%a] %m (%u) %f %l %t [%p] log file = /usr/local/rsync3.0.7/log/rsyncd.log pid file = /usr/local/rsync3.0.7/run/rsyncd.pid max connections = 50

目录 一、 选择合适的存储引擎: InnoDB 1.1 怎样将现有的 MyISAM 数据库转换为 InnoDB: 1.2 为每一个表分别创建 InnoDB FILE： 二、 保证从内存中读取数据。讲数据保存在内存中 2.1 足够大的 innodb_buffer_pool_size 2.1.1 怎样确定 innodb_buffer_pool_size 足够大。数据是从内存读取而不是硬盘？ 2.1.2 server上是否有足够内存用来规划 2.2 数据预热 2.3 不要让数据存到 SWAP 中 三、定期优化重建数据库 四、降低磁盘写入操作 4.1 使用足够大的写入缓存 innodb_log_file_size 4.2 innodb_flush_log_at_trx_commit 4.3 避免双写入缓冲 五、提高磁盘读写速度 六、充分使用索引 6.1 查看现有表结构和索引 6.2 加入必要的索引 6.2.1 比方，优化用户验证表： 6.2.2 使用自己主动加索引的框架或者自己主动拆分表结构的框架 七、分析查询日志和慢查询日志 八、激进的方法。使用内存磁盘 九、用 NOSQL 的方式使用 MYSQL 十、其它 MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言近期发展非常快，PHP， Ruby, Python, Java 各有特点，尽管 NOSQL 近期越來越多的被提到

一、kafka概述 1.1、定义 Kakfa是一个分布式的基于发布/订阅模式的消息队列（message queue），主要应用于大数据的实时处理领域 1.2、消息队列 1.2.1、传统的消息队列&新式的消息队列的模式 上面是传统的消息队列，比如一个用户要注册信息，当用户信息写入数据库后，后面还有一些其他流程，比如发送短信，则需要等这些流程处理完成后，在返回给用户 而新式的队列是，比如一个用户注册信息，数据直接丢进数据库，就直接返回给用户成功 1.2.2、使用消息队列的好处 A、 解耦 B、 可恢复性 C、 缓冲 D、 灵活性&峰值处理能力 E、 异步通信 1.2.3、消息队列的模式 A、点对点模式 消息生产者发送消息到消息队列中，然后消息消费者从队列中取出并且消费消息，消息被消费后，队列中不在存储。所以消息消费者不可能消费到已经被消费的消息；队列支持存在多个消费者，但是对于一个消息而言，只会 有一个消费者可以消费；如果想发给多个消费者，则需要多次发送该条消息 B】发布/订阅模式（一对多，消费者消费数据之后不会清除消息） 消息生产者将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息，和点对点的方式不同，发布到topic的消息会被所有的订阅者消费；但是数据保留是期限的，默认是7天，因为他不是存储系统；kafka就是这种模式的；有两种方式，一种是是消费者去主动去消费（拉取

HDFS全称为Hadoop Distributed File System，是整个Hadoop平台上的两大核心组件之一 HDFS用于解决海量数据的分布式存储问题 计算机集群结构 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就大大降低了硬件上的开销 机架内部的机器通过光纤高速交换机进行连接，机架和机架之间通过带宽更高的几个光纤交换机来完成彼此之间的交互和连接 分布式文件系统的结构 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)一个作为主节点，其余作为从节点，主节点承担起数据目录（元数据）服务，从节点要具体完成数据的存储任务 HDFS简介 HDFS要实现以下目标： 兼容廉价的硬件设备 流数据读写 大数据集 简单的文件模型 强大的跨平台兼容性 传统的文件系统在进行数据读写的时候是以块数据为单位，每一次可以读取指定的某一部分数据，而HDFS设计的目标就是对大量数据的读写，不会访问某个文件的子集或去访问一块一块的数据

1. 一秒配置与效果 1.1 一秒配置 ​ spring boot中无须添加任何依赖，直接在resources文件夹下面新建logback.xml文件，将以下代码复制过去，配置完成，可以使用了。 <?xml version="1.0" encoding="UTF-8"?> <configuration> <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"> <!-- encoder 默认配置为PatternLayoutEncoder --> <encoder> <pattern>%d [%thread] %msg%n</pattern> </encoder> </appender> <appender name="info_log" class="ch.qos.logback.core.rolling.RollingFileAppender"> <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy"> <!-- rollover daily --> <FileNamePattern>log/info-%d{yyyy-MM-dd}.%i.log</FileNamePattern> <!--

1 ．什么是 xinetd xinetd即extended internet daemon，xinetd是新一代的网络守护进程服务程序，又叫超级Internet服务器。经常用来管理多种轻量级Internet服务。xinetd提供类似于inetd+tcp_wrapper的功能，但是更加强大和安全。 2. xinetd 的特色 1 ) 强大的存取控制功能 — 内置对恶意用户和善意用户的差别待遇设定。 — 使用libwrap支持，其效能更甚于tcpd。 — 可以限制连接的等级，基于主机的连接数和基于服务的连接数。 — 设置特定的连接时间。 — 将某个服务设置到特定的主机以提供服务。 2 ) 有效防止 DoS 攻击 — 可以限制连接的等级。 — 可以限制一个主机的最大连接数，从而防止某个主机独占某个服务。 — 可以限制日志文件的大小，防止磁盘空间被填满。 3 ) 强大的日志功能 — 可以为每一个服务就syslog设定日志等级。 — 如果不使用syslog，也可以为每个服务建立日志文件。 — 可以记录请求的起止时间以决定对方的访问时间。 — 可以记录试图非法访问的请求。 4 ) 转向功能 可以将客户端的请求转发到另一台主机去处理。 5) 支持 IPv6 xinetd自xinetd 2.1.8.8pre*起的版本就支持IPv6，可以通过在./configure脚本中使用with-inet6