log文件

1. 配置systemd日志, 切换到root，执行如下操作： ~]# mkdir /var/log/journal /*创建日志保存目录 ~]# chown root:systemd-journal /var/log/journal /*修改目录属主，属组 ~]# chmod 2755 /var/log/journal /*修改目录全县 ~]# ls -ld /var/log/journal/ /*确认属主，属组及权限修改成功 drwxr-sr-x. 3 root systemd-journal 45 Jun 22 08:29 /var/log/journal/ 2.验证systemd日志永久保存配置成功 ~]# ls /var/log/journal/ 946cb0e817ea4adb916183df8c4fc817/ system.journal user-42.journal 标黄色目录名是系统随机生成的一个目录名，但通常都包含上述两个文件。 原文：https://www.cnblogs.com/qiyunshe-NSD1805/p/9211754.html

Flume中常用Kafka Source、正则拦截器、HDFS Sink,这里把需要注意的点做一下总结,并实现数据根据事件时间和事件类型落到HDFS。 Kafka Source # source类型 agent .sources .s 1 .type = org .apache .flume .source .kafka .KafkaSource # kafka brokers列表 agent .sources .s 1 .kafka .bootstrap .servers = localhost: 9092 # 配置消费的kafka topic agent .sources .s 1 .kafka .topics = testTopic3 # 配置消费者组的id agent .sources .s 1 .kafka .consumer .group .id = consumer_testTopic3 # 自动提交偏移量的时间间隔 agent .sources .s 1 .kafka .consumer .auto .commit .interval .ms = 60000 1、flume对从Kafka中读取到的Event默认会在Event Header中添加3个属性partition,topic,timestamp。如partition=2, topic=testTopic3,

linux发行版为：centos6.5 　　FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 　　 　　FastDFS架构包括 Tracker server和Storage server。客户端请求Tracker server进行文件上传、下载，通过Tracker server调度最终由Storage server完成文件上传和下载。 　　Tracker server作用是负载均衡和调度，通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。 　　Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。 　　如下图： 　　 　　FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker

1.介绍 　Logback是由log4j创始人设计的另一个开源日志组件,它当前分为下面下个模块： 　　logback-core：其它两个模块的基础模块 　　logback-classic：它是log4j的一个改良版本，同时它完整实现了slf4j API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logging 　　logback-access：访问模块与Servlet容器集成提供通过Http来访问日志的功能（非必须的包） 　　注意：还要一个slf4j的包 2.配置介绍 2.1Logger、appender及layout Logger作为日志的记录器，把它关联到应用的对应的context上后，主要用于存放日志对象，也可以定义日志类型、级别。 Appender主要用于指定日志输出的目的地，目的地可以是控制台、文件、远程套接字服务器、 MySQL、PostreSQL、 Oracle和其他数据库、 JMS和远程UNIX Syslog守护进程等。 Layout 负责把事件转换成字符串，格式化的日志信息的输出。 2.2logger context 各个logger 都被关联到一个 LoggerContext，LoggerContext负责制造logger，也负责以树结构排列各logger。其他所有logger也通过org.slf4j.LoggerFactory

启动MongoDB有2种方式，一是直接指定配置参数，二是指定配置文件。这里先介绍配置文件，启动方式如下： mongod --config /etc/mongodb.conf 配置如下： verbose ：日志信息冗余。默认false。提高内部报告标准输出或记录到 logpath 配置的日志文件中。要启用verbose或启用 用vvvv参数，如： verbose = true vvvv = true ps：启动verbose冗长信息，它的级别有 vv~vvvvv，v越多级别越高，在日志文件中记录的信息越详细。 port ：端口。默认27017，MongoDB的默认服务TCP端口，监听客户端连接。要是端口设置小于1024，比如1021，则需要root权限启动，不能用mongodb帐号启动，（普通帐号即使是27017也起不来）否则报错：[mongo --port=1021 连接] ERROR: listen(): bind() failed errno: 13 Permission denied for socket: 127.0 . 0.1 : 1021 port = 27017 bind_ip ：绑定地址。默认127.0.0.1，只能通过本地连接。进程绑定和监听来自这个地址上的应用连接。要是需要给其他服务器连接，则需要注释掉这个或则把IP改成本机地址，如192.168.200.201

GIT版本管理工具教程 Ŀ¼ GIT版本管理工具教程 一 Git初始化 二 简单指令使用 基本操作 简单总结 三 Git进阶 Git三大区域 Git回滚 Git分支 Git工作流 四 Github代码管理仓库 第一步：注册Github账号 第二步：创建仓库 第三步：Github保存代码 第四步： 拉取GitHub上的代码继续开发 第五步：换一个电脑继续开发 如果在公司忘记提交代码，怎么搞？ 五 rebase变基 rebase的第一个场景 rebase的第二个场景 rebase的第三个场景 六 Git配合Beyond Compare来解决冲突 七 Git多人协作开发 第一步：创建组织 第二步：GitHub组织中邀请成员 八 给开源项目贡献代码 第一步：找项目 第二步：fork 第三步：在自己的仓库中修改代码 第四步： 提交pull request 九 Git配置文件详解 十 Git远程仓库免密登陆 十一 Git忽略文件 十二 GitHub做任务管理相关　 1.issues 2.wiki 下载安装， 下载地址： https://git-scm.com/downloads 每个系统的都有（linux、mac、windows等），看官网的安装教程，很详细，此处我以windows来练习 首先创建一个文件夹，这个文件夹就是我们将来通过git来管理的所有文件的存放地点 。 在文件夹中右键

Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https : //github.com/liufengji/Compression_Format_Data log . txt 大小为 18.1 M 1.2 TextFile 创建表，存储数据格式为 TextFile create table log_text ( track_time string , url string , session_id string , referer string , ip string , end_user_id string , city_id string ) row format delimited fields terminated by '\t' stored as textfile ; 向表中加载数据 load data local inpath '/home/hadoop/log.txt' into table log_text ; 查看表的数据量大小 dfs - du - h / user / hive / warehouse / log_text ; +------------------------------------------------+--+ | DFS Output | +--------------------------------

一、源端Oracle配置 1、开启归档 1、1查看你数据库是否处于归档模式，如果处于归档模式, 则返回结果 ARCHIVELOG 1、2如果没有处于 归档模式，请按照一下操作进行修改为归档模式： SQL > shutdown immediate ; SQL > startup mount ; SQL > alter database archivelog ; SQL > alter database open ; SQL > archive log list ; 1、3日志切换测试 SQL > alter system switch logfile ; 注意：数据库开启归档后，要制定清理归档日志的策略，否则如果归档目录满了，数据库将被 hang 住。 -- 查询归档目录的位置 SQL > show parameter recovery SQL > select name from v$archived_log ; -- 设置归档目录，重启数据库后生效 SQL > alter system set log_archive_dest_1 = 'location=/xxx/xxx' scope = both ; -- 删除所有的归档日志（慎用） $ > rman target / RMAN > delete noprompt force archivelog all completed

首先，我们来看备份的日志，在20:14:16的时候，备份程序将idb文件备份完，然后开始准备备份frm文件，首先执行flush no_write_to_binlog tables，然后执行flush tables with read lock，这都没问题， 但这从一秒开始，会阻塞住从库的DDL和DML操作。由于备份日志太长了，下面我只截取其中的一部分重要的提示。 20:14:20的时候，提示：Finished backing up non-InnoDB tables and files，也就是从20:14:16秒开始备份frm文件，到备份结束，只用4秒，这个符合预期，没什么问题。 但接着的flush no_write_to_binlog engine logs却运行了33分钟左右，然后才执行table unlock。问题就是出在这33分钟这里，锁住的时间太久，触发了报警。 二、排查过程 1、查看log_file的参数设置，发现log_file设置成了8G，并且设置了12个文件。 > show variables like '%innodb_log_file%'; +---------------------------+------------+ | Variable_name | Value | +---------------------------+------------+

您的CPU支持未编译此TensorFlow二进制文件以使用的指令:AVX2 如果是初学者 或者 没有太大计算速度的需求，在开头加上这两行忽略这个提示即可 import os os .environ [ 'TF_CPP_MIN_LOG_LEVEL' ] = '2' 说明： os.environ["TF_CPP_MIN_LOG_LEVEL"] = '1' # 默认，显示所有信息 os.environ["TF_CPP_MIN_LOG_LEVEL"] = '2' # 只显示 warning 和 Error os.environ["TF_CPP_MIN_LOG_LEVEL"] = '3' # 只显示 Error 来源：博客园 作者： 不羁的晴 链接：https://www.cnblogs.com/xin-qing3/p/11525861.html