日志文件

1.启动和设置二进制日志 默认情况下，二进制日志是关闭的，可以通过修改MySQL的配置文件来启动和设置二进制日志 log-bin 定义开启二进制日志；后面参数为path[/filename],如果不指定path ，默认为datadir，如果不指定filename,默认为主机名称 　　 会生成filename.0000001,filename.000002等， 还有一个filename.index文件,文件内容为所有日志的清单 expire_logs_days 定义了MySQL清除过期日志的时间，即二进制日志自动删除的天数。默认值为0，表示不自动删除，当MySQL启动或刷新二进制日志时可能删除该文件。 max_binlog_size 定义了单个文件的大小限制，如果二进制日志写入的内容大小超出给定值，日志就会发生回滚（关闭当前文件，重新打开一个新的日志文件）。默认1GB, 不能大于1GB或小于4096B 添加完毕后，重启MySQL，即可打开二进制日志 使用show master status 查看当前的二进制文件名称 使用show binary logs;查看二进制日志文件个数即文件名 使用show variables like 'log_bin%';查看二进制日志配置信息 到这里启动算是完了，但是我同样的配置，在linux环境下却一直启动不了报错， Starting MySQL..

1） 什么是logrotate? logrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为“转储”。我们可以根据日志的大小，或者根据其使用的天数来转储，这个过程一般由cron来执行。 logrotate还可以用于压缩日志文件，以及发送日志到指定的email。 2) logrotate的默认配置文件以及它的主要参数 logrotate 的配置文件是 /etc/logrotate.conf 主要参数如下表： 参数 功能 compress 通过gzip 压缩转储以后的日志 nocompress 不需要压缩时，用这个参数 copytruncate 用于还在打开中的日志文件，把当前日志备份并截断 nocopytruncate 备份日志文件但是不截断 create mode owner group 转储文件，使用指定的文件模式创建新的日志文件 nocreate 不建立新的日志文件 delaycompress 和 compress 一起使用时，转储的日志文件到下一次转储时才压缩 nodelaycompress 覆盖 delaycompress 选项，转储同时压缩。 errors address 专储时的错误信息发送到指定的Email 地址 ifempty 即使是空文件也转储，这个是 logrotate 的缺省选项。 notifempty

logback的使用和logback.xml详解 一、logback的介绍 　　Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。它当前分为下面下个模块： 　　logback-core：其它两个模块的基础模块 　　logback-classic：它是log4j的一个改良版本，同时它完整实现了slf4j API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging 　　logback-access：访问模块与Servlet容器集成提供通过Http来访问日志的功能 二、logback取代log4j的理由 　　1、更快的实现：Logback的内核重写了，在一些关键执行路径上性能提升10倍以上。而且logback不仅性能提升了，初始化内存加载也更小了。 　　2、非常充分的测试：Logback经过了几年，数不清小时的测试。Logback的测试完全不同级别的。 　　3、Logback-classic非常自然实现了SLF4j：Logback-classic实现了SLF4j。在使用SLF4j中，你都感觉不到logback-classic。而且因为logback-classic非常自然地实现了slf4j ， 所 以切换到log4j或者其他，非常容易，只需要提供成另一个jar包就OK

查看数据库当前的重做日志文件： v$log v$logfile 切换重做日志文件： SQL> alter system switch logfile; 重做日志文件有两个概念： 重做日志文件组 重做日志文件 数据库中有若干重做日志文件组，每个重做日志文件组中有若干重做日志文件。 可以给数据库增加或删除重做日志文件组； 可以给数据库增加或删除组中的重做日志文件。 来源： CSDN 作者： Uncle.Cui 链接： https://blog.csdn.net/David_ifx/article/details/103586198

重做日志文件需要及时的做归档，形成的归档文件称为归档日志文件。 数据库的归档模式可以选择打开或关闭，默认是关闭状态。 开启日志归档模式的方法： 1、设置归档的位置和归档文件大小 db_recovery_file_dest 归档文件的位置 db_recovery_file_dest_size 归档文件的大小 2、SQL> archive log list; 查看归档模式 3、SQL> shutdown immediate; 关闭数据库 4、SQL> startup mount; 数据库启动到mount模式，在mount模式下进行归档模式修改 5、SQL> alter database archivelog; 开启归档 6、SQL> alter database open; 打开数据库 7、SQL> archive log list; 查看归档设置是否成功 来源： CSDN 作者： Uncle.Cui 链接： https://blog.csdn.net/David_ifx/article/details/103586266

一篇文章主要是关于整体架构以及用到的软件的一些介绍，这一篇文章是对各个软件的使用介绍，当然这里主要是关于架构中我们agent的实现用到的内容 关于zookeeper+kafka 我们需要先把两者启动，先启动zookeeper,再启动kafka 启动ZooKeeper:./bin/zkServer.sh start 启动kafka:./bin/kafka-server-start.sh ./config/server.properties 操作kafka需要安装一个包：go get github.com/Shopify/sarama 写一个简单的代码，通过go调用往kafka里扔数据： package main import ( "github.com/Shopify/sarama" "fmt" ) func main() { config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForAll config.Producer.Partitioner = sarama.NewRandomPartitioner config.Producer.Return.Successes = true msg := &sarama.ProducerMessage{} msg.Topic = "nginx_log"

1.在springboot中指定启动环境有几种方式 命令行启动springboot jar包，java -jar xxx.jar 后面跟上 “--spring.profiles.active=prod” idea “Run/debug Configration"中 "vm Option"选项添加 “-Dspring.profiles.active=prod” “application.yml"配置文件指定当前环境 "srping.profiles.active: prod" 在资源文件夹下除了application.yml外，不同环境配置文件对应application-xxx.yml，比如dev开发环境配置logback日志文件路径为 /Users/xxx/logs ,在prod生产环境中配置日志文件路径为 /root/logs 2.logback.xml需要加载不同环境配置文件中“logback.home”变量 <!-- 读取application.yml中配置的日志文件路径，没有这一步的话取不到logback.home的值 --> <springProperty scope="context" name="LOG_HOME" source="logback.home"/> 来源： https://www.cnblogs.com/qiang9527/p/12030989.html

因为是springboot2.0项目已经集成了logback，无需引包 < parent > < groupId > org . springframework . boot < / groupId > < artifactId > spring - boot - starter - parent < / artifactId > < version > 2.2 .1 . RELEASE < / version > < relativePath / > < ! -- lookup parent from repository -- > < / parent > < parent > < groupId > org . springframework . boot < / groupId > < artifactId > spring - boot - dependencies < / artifactId > < version > 2.2 .1 . RELEASE < / version > < relativePath > . . / . . /spring - boot - dependencies < / relativePath > < / parent > < dependency > < groupId > ch . qos . logback < / groupId

logback-spring.xml配置 首先，官方推荐使用的xml名字的格式为：logback-spring.xml而不是logback.xml，至于为什么，因为带spring后缀的可以使用这个标签。 在resource下创建logback-spring.xml文件 <?xml version="1.0" encoding="UTF-8"?> <!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 --> <!-- scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true --> <!-- scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 --> <!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 --> <configuration scan="true" scanPeriod="10 seconds"> <!--<include resource="org/springframework/boot/logging/logback/base

Fsimage :元数据信息的备份（持久化），会加载在内存中 edits ：Edits文件帮助记录文件增加和更新操作，提高效率 https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html NameNode在启动的时候需要加载edits(日志文件)和fsimage(文件) 所以在第一启动namenode时候需要格式化namenode 当用户上传文件或者进行其他文件的操作的时候，会将数据写入至edits文件中，这样edits和fsimage加起来的数据永远是最新的。 如果此时用户一直进行操作，会导致edits文件过于庞大，这就导致了在下次启动的时候(因为启动时需要加载两个文件)，时间会相当的长。 为了解决这个问题，出现了SecondaryNameNode，将当前NameNode的edits和fsimage文件加载过来，将文件持久化到fsimage之后，将新的fsimage上传至NameNode。 但是这个时候还会出现另外一个问题，当SecondaryNamenode进行文件持久化的时候，用户可能在这个期间需要进行操作，直接将数据写入edits日志文件 话会导致数据的紊乱，所以解决方案是将数据写入另外一个叫做edits_inprogress文件当中 值得注意的是