log文件

简介 Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。它当前分为下面下个模块： logback-core：其它两个模块的基础模块 logback-classic：它是log4j的一个改良版本，同时它完整实现了slf4j API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging logback-access：访问模块与Servlet容器集成提供通过Http来访问日志的功能 在 logback 里，最重要的三个类分别是： Logger：位于 logback-classic 模块中。Logger作为日志的记录器，把它关联到应用对应的context上后，主要用于存放日志对象，也可以定义日志类型、级别。 Appender： 位于 logback-core 中。Appender主要用于指定日志输出的目的地，目的地可以是控制台、文件、远程套接字服务器、 MySQL、PostreSQL、 Oracle和其他数据库、 JMS和远程UNIX Syslog守护进程等。 Layout： 位于 logback-core 中。Layout 负责把事件转换成字符串，格式化的日志信息的输出。 Logger 可以被分配级别。级别包括：TRACE、DEBUG、INFO、WARN 和 ERROR，定义在ch.qos

1、Hive 压缩 1.1数据压缩说明 压缩模式评价： （1）压缩比 （2）压缩时间 （3）已经压缩的是否可以再分割；可以分割的格式允许单一文件有多个Mapper程序处理，才可以更好的并行化。 Hadoop编码/解码器方式： 1.2数据压缩使用 压缩模式评价 可使用以下三种标准对压缩方式进行评价 1 、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好 2、压缩时间：越快越好 3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化 常见压缩格式 压缩方式 压缩比 压缩速度 解压缩速度 是否可分割 gzip 13.4% 21 MB/s 118 MB/s 否 bzip2 13.2% 2.4MB/s 9.5MB/s 是 lzo 20.5% 135 MB/s 410 MB/s 是 snappy 22.2% 172 MB/s 409 MB/s 否 Hadoop编码/解码器方式 压缩格式 对应的编码/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCodec Gzip org.apache.hadoop.io.compress.GzipCodec BZip2 org.apache.hadoop.io.compress.BZip2Codec LZO com.hadoop.compress

MySQL数据库是一款比较常用的数据库，大家在练习安装时，可能会遇到各种各样的问题，请大家参考在CentOS系统下MySQL数据库的安装方式。如有任何问题，欢迎留言，本人随时解答。 MySQL安装步骤如下： 第一步：上传 MySQL二进制安装包 MySQL版本：5.6.3 下载链接： https://pan.baidu.com/s/1uvqAjDP6PRNWHlNt5tyvKQ 第二步：添加用户组，创建用户 groupadd mysql // 添加一个用户组，名字叫做 mysql useradd -g mysql mysql // 并创建一个用户 mysql 第三步：解压缩，创建软链接 cd /usr/local/ tar zxvf mysql-5.6.34-linux-glibc2.5-x86_64.tar.gz ln -s mysql-5.6.34-linux-glibc2.5-x86_64 mysql 第四步：创建数据目录，并修改所有者所属组 mkdir -p /data/data0/mysql/3306/data/ mkdir -p /data/data0/mysql/3306/binlog/ mkdir -p /data/data0/mysql/3306/relaylog/ chown -R mysql:mysql /data/data0/mysql/ 第五步：初始化数据

MySQL主从复制简介 Mysql的 主从复制 方案，都是 数据传输 的，只不过MySQL无需借助第三方工具，而是自带的同步 复制功能 ，MySQL的 主从复制 并不是磁盘上文件直接同步，而是将 binlog 日志发送给从库，由从库将 binlog 文件里的内容写入本地数据库。 在生产环境中，MySQL主从复制都是异步方式同步，即不是实时同步数据。 MySQL主从复制原理 1.主从复制中的线程及文件 主库线程： Dump(IO) thread（也成为 IO 线程）：在复制过程中，主库发送二进制日志的线程 从库线程： IO thread：向主库请求binlog日志，并且接受binlog日志的线程 SQL thread：专门用于请求binlog日志的线程，将其内容写入数据库 主库的文件： binlog文件：主库的binlog日志 从库的文件： relaylog：中继日志，存储请求过来的binlog日志 master.info： 从库连接主库的重要参数（user,password,ip,port） 记录最后一次获取过主库的binlog日志的位置点 relay-log.info 存储从库SQL线程已经执行过的relaylog日志位置点 Mysql主从复制图解： 从库 读取 master.info 文件中的信息（连接参数，最后一次请求binlog的位置点），向 主库 请求binlog文件，

DG 是 Oracle Data Guard 的简称。也就是Oracle11g的 数据卫士。 由于在工作中 Oracle 和 SQL SERVER2008 同时都需要维护管理。给我的感觉这里的 DG 其实和 Sql Server 2008的镜像实现的功能是一样的（当然更强大一些）。DG 中的物理备用库 尤其和 Sql Server 2008 的镜像实现的功能是一样的。但也有不同点：DG中的物理备用库可以在特定条件下 以只读或读写方式打开。而镜像则不可以（2012版本虽然可以读，但还是不能打开），当然 Sql Server 2008 的日志传送功能实现的 热备份库，是可以只读的。DG中的逻辑备用库既可以读又可以写（如果写的话需要闪回数据库后才能继续和主库保持同步）基于逻辑备用库的结构可以和 主库的不一样，这点Sql Server 2008 的复制订阅方式实现的从库有些类似。具体有哪些不同点，这里就不累述了，大家自己看书自通吧。 DG 使用3 中服务来管理 REDO数据的传送、REDO数据的应用、更改数据库角色。 1 、REDO 传输服务：控制从主生产库将REDO数据自动传输到一个或多个归档目的地。 2 、日志应用服务：即在备用库上应用REDO 数据，保持与主库事务同步。可以从归档redo日志文件和备用redo日志文件中应用。 3 、角色转换服务：使用切换或故障转移操作

DG 是 Oracle Data Guard 的简称。也就是Oracle11g的 数据卫士。 由于在工作中 Oracle和 SQL SERVER2008 同时都需要维护管理。给我的感觉这里的 DG 其实和 Sql Server 2008的镜像实现的功能是一样的（当然更强大一些）。DG 中的物理备用库 尤其和 Sql Server 2008 的镜像实现的功能是一样的。但也有不同点：DG中的物理备用库可以在特定条件下 以只读或读写方式打开。而镜像则不可以（2012版本虽然可以读，但还是不能打开），当然 Sql Server 2008 的日志传送功能实现的 热备份库，是可以只读的。DG中的逻辑备用库既可以读又可以写（如果写的话需要闪回数据库后才能继续和主库保持同步）基于逻辑备用库的结构可以和 主库的不一样，这点Sql Server 2008的复制订阅方式实现的从库有些类似。具体有哪些不同点，这里就不累述了，大家自己看书自通吧。 DG使用3中服务来管理 REDO数据的传送、REDO数据的应用、更改数据库角色。 1、REDO传输服务：控制从主生产库将REDO数据自动传输到一个或多个归档目的地。 2、日志应用服务：即在备用库上应用REDO数据，保持与主库事务同步。可以从归档redo日志文件和备用redo日志文件中应用。 3、角色转换服务：使用切换或故障转移操作，把备用库更改为主生产库

1)、什么是MySQL主从复制 MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个MySQL数据库从节点。MySQL默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库。 2)、MySQL主从复制作用 一、数据热备 作为备数据库，当主数据库服务器发生故障后，可切换到从数据库继续工作，避免数据丢失。 二、读写分离 可支持MySQL数据库服务器支持更大的并发。数据读写操作可分配在不同的服务器间进行。如操作报表中尤其重要，由于部分报表SQL语句非常的慢，会导致锁表，影响前台服务。使用主从复制，前台使用master，负责写，报表使用slave，负责读，那么报表SQL将不会造成前台锁表，保证了前台正常运行。 三、架构扩展 随着业务量越来越大，I/O访问频率过高，单机可能无法满足。此时做多库的存储，如一主多从方式，以降低磁盘I/O访问，提高单个机器的I/O性能。 MySQL主从复制原理 MySQL数据复制的基础是二进制日志文件（binary log file）。一台MySQL数据库一旦启用二进制日志后，其作为master节点，数据库中所有操作都会以“事件”的方式记录在二进制日志中，其他数据库作为slave通过一个I/O线程与主服务器保持通信

目录 使用库 导入库 导入库时使用别名 变量 标量 ​​​​​​​列表 ​​​​​​​字典 ​​​​​​​命令行中设置变量 ​​​​​​​有返回值的关键字 ​​​​​​​使用关键字创建变量 ​​​​​​​数字变量 ​​​​​​​布尔值和None/null值 ​​​​​​​空格和空字符串/列表/字典 ​​​​​​​内置变量 ​​​​​​​变量的作用域 使用库 这部分介绍如何使用测试库和库的中的关键字。 导入库 关键字是Library，有2种方式导入指定的库： 使用Library关键字，通过库名导入 这种方式本质使用的就是python中导入模块的，根据搜索路径来查找文件 语法：Library [库名] *** Settings *** Library OperatingSystem Library my.package.TestLibrary Library MyLibrary arg1 arg2 Library ${ LIBRARY } 注意：库名都是大小写敏感的，而且空格的个数也需要严格按照库名来写 使用Library关键字，通过文件路径导入 语法：Library [库文件路径] *** Settings *** Library PythonLibrary.py （要有后缀名） Library /absolute/path/JavaLibrary.java Library

一、正向代理和反向代理 正向代理举例：翻越万里长城去游览墙外的景色 反向代理举例：负载均衡 正向代理和反向代理涉及三个主体： 请求方 代理 被请求方 正向代理中，代理跟请求方是一家子，请求方说要啥，代理就给他啥。 反向代理中，代理跟被请求方是一家子，代理统筹规划让哪一个被请求方来处理请求，对于请求方来说，代理就是处理请求的人。大多数情况下，反向代理和被请求方在同一个服务器上。Nginx就是最常用的反向代理服务器。 这里也提一下：动态代理和静态代理 正向代理和反向代理是代理服务器的两种类型 动态代理和静态代理是Java中的设计模式：代理模式。 Spring的两大核心： IOC控制反转依赖注入 AOP面向切面编程 面向切面编程中大量使用动态代理，在每一个方法调用前、调用后、抛异常时进行处理，跟装饰器模式很像。 二、nginx配置体系 nginx主要配置位于/etc/nginx目录下，nginx不仅仅可以用于负载均衡HTTP请求，也可以用于基于TCP的其它协议的负载均衡。/etc/nginx/nginx.conf是nginx的跟配置，一切配置都是这个配置的子孙。 /etc/nginx/nginx.conf users www-data;定义当前用户 worker_prosesses 4;定义worker数 pid /run/nginx.pid;定义pid文件 events{......}

一、禁用local-infile选项 | 访问控制 禁用local_infile选项会降低攻击者通过SQL注入漏洞器读取敏感文件的能力 编辑Mysql配置文件/etc/my.cnf，在[mysqld] 段落中配置local-infile参数为0，并重启mysql服务： ``` local-infile=0 ``` 二、删除'test'数据库 | 服务配置 测试数据库可供所有用户访问，并可用于消耗系统资源。删除测试数据库将减少mysql服务器的攻击面。 登陆数据库执行以下SQL语句删除test数据库： ``` DROP DATABASE test; flush privileges; ``` 三、确保没有用户配置了通配符主机名 | 身份鉴别 避免在主机名中只使用通配符，有助于限定可以连接数据库的客户端，否则服务就开放到了公网 执行SQL更新语句，为每个用户指定允许连接的host范围。 1. 登录数据库，执行`use mysql;` ； 2. 执行语句`select user,Host from user where Host='%';`查看HOST为通配符的用户; 3. 删除用户或者修改用户host字段，删除语句：`DROP USER 'user_name'@'%';` 。更新语句：`update user set host = <new_host> where host = '%'