log文件

山竹来临，窝在家里整理个人文档。 www.cnblogs.com/xinysu/ 1 备份出错咯 1 innobackupex --defaults-file=/apps/conf/mysql/mysql5_3306.cnf --socket=/tmp/mysql3306.sock --user=[*]--password=[*] --no-timestamp /apps/mysql_backup/test_backup_1 > /apps/mysql_backup/backup.log 2>&1 xtrabackup: The latest check point (for incremental): '1209962' xtrabackup: Stopping log copying thread. .xtrabackup: warning: Log block checksum mismatch (block no 2364 at lsn 1209856): expected 1161267116, calculated checksum 1312610971 xtrabackup: warning: this is possible when the log block has not been fully written by the server, will retry

1.安装介质 http://dev.mysql.com/downloads/mysql/ 2.安装过程 2.1主机配置 a)关闭防火墙 service iptables stop b)禁掉Selinux vim /etc/selinux/config #SELINUX=enforcing #SELINUXTYPE=targeted SELINUX=disabled setenforce 0 2.2修改limits.conf vi /etc/security/limits.conf mysql soft nproc 16384 mysql hard nproc 16384 mysql soft nofile 65536 mysql hard nofile 65536 mysql soft stack 10240 2.3添加pam_limits.so模块 在文件最下面加入以下内容： vi /etc/pam.d/login session required pam_limits.so 2.4配置内核参数 vi /etc/sysctl.conf fs.aio-max-nr = 1048576 fs.file-max = 6815744 kernel.shmall = 16777216 kernel.shmmax = 68719476736 kernel.shmmni = 4096

　　kibana是与elasticsearch相配套的，所以我们下载的压缩包版本应该与elasticsearch一致。压缩包下载也大同小异（elasticsearch的安装参考 linux安装6.5.3版本elastic search ），到官网 https://www.elastic.co/cn/downloads/kibana 选择6.5.3版本下载。 　　下载好后同样的操作，rz到wlf用户soft目录下，返回上一层直接解压： $ cd .. $ tar xzvf soft/kibana-6.5.3-linux-x86_64.tar.gz 　　解压好了我们进去修改配置文件： $ cd kibana-6.5.3-linux-x86_64 $ vi config/kibana.yml 　　我这里指定了kibana的进程文件目录和允许远程访问： # Specifies the path where Kibana creates the process ID file. pid.file: /home/wlf/kibana-6.5.3-linux-x86_64/run/kibana.pid # Specifies the address to which the Kibana server will bind. IP addresses and host names are both

Ŀ¼ MySQL在26日 16:23:49产生了大量的慢查询，在这段时间内，binlog文件刷新的很快（查看慢日志是mysql DML并发比较多），想知道写完一个binlog文件究竟花了几分钟时间？ 三个binlog文件的最后修改间隔时间分别是2 分钟和1 分钟 同一个事务只能写同一个binlog文件 mysql-bin.016126文件的最后修改时间16：22不一定是mysql-bin.016127 文件创建的时间（存在大事务的情况下，大事务还在写上一个binlog文件，新的事务已经在写新创建的binlog文件了） 使用mysqlbinlog 可以读取binlog文件中的event，知道文件的创建时间 在Linux下，是否有命令可以查出文件的创建时间了？ 1、 使用stat命令 stat mysql-bin.016126 File: ‘mysql-bin.016126’ Size: 262146609 Blocks: 512016 IO Block: 4096 regular file Device: fd02h/64770d Inode: 135529302 Links: 1 Access: (0640/-rw-r-----) Uid: ( 5701/actiontech-mysql) Gid: ( 5701/actiontech-mysql) Access : 2019-04

　　GitLab拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。它还提供一个代码片段收集功能可以轻松实现代码复用，便于日后有需要的时候进行查找。 1. GitLab安装与配置 1.1. 基础环境准备 1 [root@mini04 ~]# yum install -y curl policycoreutils openssh-server openssh-clients postfix 2 ……………… 3 [root@mini04 ~]# systemctl start postfix 1.2. 配置yum源 　　注：由于网络问题，国内用户，建议使用清华大学的镜像源进行安装： 1 [root@mini04 ~]# vim /etc/yum.repos.d/gitlab-ce.repo 2 [gitlab-ce] 3 name=gitlab-ce 4 baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ 5 repo_gpgcheck=0 6 gpgcheck=0 7 enabled=1 8 gpgkey=https://packages.gitlab.com/gpg.key 1.3. 更新本地yum缓存 1 [root

GTID作为mysql5.6带来的新特性，在搭建replicate过程中，可以更快速方便，感觉上更加‘自动化’。 #一、修改配置文件 ###1.修改主服务器配置文件my.cnf，添加下面的几行： binlog-format=ROW log-slave-updates=true gtid-mode=on # GTID only enforce-gtid-consistency=true # GTID only master-info-repository=TABLE relay-log-info-repository=TABLE sync-master-info=1 slave-parallel-workers=2 binlog-checksum=CRC32 master-verify-checksum=1 slave-sql-verify-checksum=1 binlog-rows-query-log-events=1 server-id=1 report-port=3306 port=3306 log-bin=black-bin.log report-host=black innodb_flush_log_at_trx_commit=1 sync_binlog=1 ###2.修改从服务器配置文件，添加下面几行： binlog-format=ROW log-slave

这个是BUG网上有三种合理的解释： 1）这个文件在你的程序中可能涉及了读写操作，但是普通用户没有这个权限，所以加上权限就好 chmod 777 count.txt 2）在Linux文件上下层目录是以斜杠 ' / ' 分隔，自己改过来就好了 3）还是路径的问题，Linux是从根部开始找这个文件的，不想window从目录同层开始找 ， tail -n 2000 /var/log/messages | grep path

转：https://www.cnblogs.com/knowledgesea/p/5175711.html Nginx常用功能： 1、Http代理，反向代理：作为web服务器最常用的功能之一，尤其是反向代理。 这里我给来2张图，对正向代理与反响代理做个诠释，具体细节，大家可以翻阅下资料。 Nginx在做反向代理时，提供性能稳定，并且能够提供配置灵活的转发功能。Nginx可以根据不同的正则匹配，采取不同的转发策略，比如图片文件结尾的走文件服务器，动态页面走web服务器，只要你正则写的没问题，又有相对应的服务器解决方案，你就可以随心所欲的玩。并且Nginx对返回结果进行错误页跳转，异常判断等。如果被分发的服务器存在异常，他可以将请求重新转发给另外一台服务器，然后自动去除异常服务器。 2、负载均衡 Nginx提供的负载均衡策略有2种：内置策略和扩展策略。内置策略为轮询，加权轮询，Ip hash。扩展策略，就天马行空，只有你想不到的没有他做不到的啦，你可以参照所有的负载均衡算法，给他一一找出来做下实现。 上3个图，理解这三种负载均衡算法的实现 Ip hash算法，对客户端请求的ip进行hash操作，然后根据hash结果将同一个客户端ip的请求分发给同一台服务器进行处理，可以解决session不共享的问题。 3、web缓存 Nginx可以对不同的文件做不同的缓存处理，配置灵活

hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库，用于存放hive的元数据 sudo service mysql start 启动hive hive 在/data/hive3下下载数据库数据 mkdir /data/hive3 cd data/hive3 wget http://192.168.1.100:60000/allfiles/hive3/buyer_log wget http://192.168.1.100:60000/allfiles/hive3/buyer_favorite 在hive中创建数据库并以'\t'为分隔符 create table buyer_log(id string,buyer_id string,dt string,ip string,opt_type string) row format delimited fields terminated by '\t' stored as textfile; 将/data/hive3下的数据导入到hive中 load data local inpath '/data/hive3/buyer_log' into table buyer_log; load data local inpath '/data/hive3/buyer_favorite'

1. 关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化 2. Filebeat是如何工作的 Filebeat由两个主要组件组成： inputs 和 harvesters （直译：收割机，采集器） 。这些组件一起工作以跟踪文件，并将事件数据发送到你指定的输出。 2.1. harvester是什么 一个harvester负责读取一个单个文件的内容。 harvester逐行读取每个文件（一行一行地读取每个文件），并把这些内容发送到输出。 每个文件启动一个harvester。 harvester负责打开和关闭这个文件，这就意味着在harvester运行时文件描述符保持打开状态。 在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat会续读这个文件。这就有一个问题了，就是只要负责这个文件的harvester没用关闭，那么磁盘空间就不会释放。默认情况下，Filebeat保存文件打开直到close_inactive到达。 2.2. input是什么