日志

摘要： 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉宾是来自阿里云大数据的技术专家祎休 背景与总体思路 数据仓库是一个面向主题的、集成的、非易失的、反映历史变化的数据集合用于支持管理决策。 原文链接： http://click.aliyun.com/m/43803/ 数加大数据直播系列课程，主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题，分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉宾是来自阿里云大数据的技术专家祎休！ 背景与总体思路 数据仓库是一个面向主题的、集成的、非易失的、反映历史变化的数据集合，用于支持管理决策。其结构图如下所示： 随着大数据、云计算等技术的应用和普及，互联网环境下数据处理呈现出新的特征：业务变化快；数据来源多；系统耦合多；应用深度深。业务变化加快导致数据来源增多，以前的数据大多来自于应用系统数据库，基本为结构化数据，比如Oracle、MySQL等数据。现在的互联网环境下有了更多的数据，比如网站的点击日志、视频数据、语音数据，这些数据都需要通过统一的计算来反映企业的经营状况。在互联网环境下，系统耦合也相对比较多

Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制日志输出的样式和位置。 1、Loggers Loggers组件在此系统中被分为五个级别：DEBUG、INFO、WARN、ERROR和FATAL。这五个级别是有顺序的，DEBUG < INFO < WARN < ERROR < FATAL，分别用来指定这条日志信息的重要程度，明白这一点很重要，Log4j有一个规则：只输出级别不低于设定级别的日志信息，假设Loggers级别设定为INFO，则INFO、WARN、ERROR和FATAL级别的日志信息都会输出，而级别比INFO低的DEBUG则不会输出。 2、Appenders 禁用和使用日志请求只是Log4j的基本功能，Log4j日志系统还提供许多强大的功能，比如允许把日志输出到不同的地方，如控制台（Console）、文件（Files）等，可以根据天数或者文件大小产生新的文件，可以以流的形式发送到其它地方等等。 常使用的类如下： org.apache.log4j.ConsoleAppender（控制台） org.apache.log4j.FileAppender（文件） org.apache.log4j

引言 前段时间写的《 Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析 》得到了许多同学的认可，在认可的同时，也有同学提出可以使用Kafka来集中管理日志，于是今天就来学习一下。 特别说明，由于网络上关于Kafka+Log4j的完整例子并不多，我也是一边学习一边使用，因此如果有解释得不好或者错误的地方，欢迎批评指正，如果你有好的想法，也欢迎留言探讨。 第一部分 搭建Kafka环境 安装 Kafka 下载： http://kafka.apache.org/downloads.html tar zxf kafka-<VERSION>.tgz cd kafka-<VERSION> ‍ 启动Zookeeper 启动 Zookeeper 前需要配置一下 config/zookeeper.properties： ‍ 接下来启动 Zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 启动 Kafka Server 启动 Kafka Server 前需要配置一下 config/server.properties 。主要配置以下几项，内容就不说了，注释里都很详细： 然后启动 Kafka Server ： bin/kafka-server-start.sh config/server

SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark” 启动start-history-server.sh SPARK_HOME/conf 下: 执行 ./start-history-server.sh spark job history web: master:18080 这样在spark任务运行完成之后,就可以通过web页面查看日志了 history server相关的配置参数描述 spark.history.updateInterval 　　默认值：10 　　以秒为单位，更新日志相关信息的时间间隔 spark.history

前一阵在在项目中碰到一个日志问题。工程使用的是log4j，log4j.xml中也配置了工程日志路径和策略，并把日志级别定为warn。但不管是测试环境还是线上环境，都发现除了应用自身的日志，以及指定输出日志，工程中依赖的包输出的日志都打到了tomcat自身的日志文件中，并且debug的日志也一并输出，导致tomcat的日志文件增长非常快，没几天就把服务器空间占满。线上服务器还好，有脚本自动清理，测试环境的服务器直接宕机。 最初，以为是tomcat配置问题，找到PE检查脚本，发现跟tomcat并无直接关系。无奈只好求助师兄，检查一下午才发现工程中配置的log4j，但粗心混入了logback的jar包。 <!-- 日志 --> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> <version>1.7.2</version> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.0.9</version> <!-- <scope>runtime</scope> ! --> </dependency>

log4jdbc官网地址 http://code.google.com/p/log4jdbc/ https://github.com/arthurblake/log4jdbc 当前最新版本是1.2, 支持JDBC3, JDBC4 log4jdbc是在jdbc层的一个日志框架，可以将占位符与参数全部合并在一起显示，方便直接拷贝sql在数据库客户端运行 未使用log4jdbc记录的SQL: select count(*) from region where id=? 使用 log4jdbc记录的SQL: select count(*) from region where id='gz' log4jdbc特点 全面支持JDBC 3和JDBC 4！ 容易配置，在大多数情况下，你需要做的是改变驱动类名net.sf.log4jdbc.DriverSpy的，并在前面加上“为jdbc:log4jdbc”到你现有的JDBC URL，建立你的日志记录类别。 示例：jdbc:log4jdbc:mysql://192.168.0.207:3306/mall 自动SQL输出。这大大提高了许多情况下的可读性和调试。 可以打印SQL的执行时间，用来调试SQL的执行效率。 生成SQL连接数信息，以帮助识别连接池或线程问题。 底层的JDBC驱动程序的兼容，使用JDK 1.4以上和SLF4J 1.x

前言 JMX即Java Managemen Extensions,是一个为应用程序植入管理功能的框架。一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。 常常在编程的过程中有一些配置信息需要动态的进行改变，我以往会有如下几种做法： 写死在Java code中，环境发生变化的时候修改Java code 写在名为*.properties的配置文件里，使用Java读取配置文件 然而今天我们将引入一种高级的方式来进行配置信息的管理，那便是JMX的引入。 如何使用JMX JMX做为一份规范，JDK中提供了JMX接口，因此安装了JDK后就可以开发基于JMX的代码了。 JMX具有两层结构，各层的组件如下 工具层 Mbeans 通知模型:Notification、NotificationListener Mbeans与数据类:Attribute、Operator 代理层 MBean Server 代理服务 下面学习下log4j2对JMX的支持 JMX-log4j2 Log4j 2 开始支持 JMX. StatusLogger, ContextSelector, 和所有的 LoggerContexts, LoggerConfigs 以及 Appenders 使用了MBeans并且可以被远程检测和控制. 使JMX生效 默认情况下JMX是生效的

生产环境最佳实践 1.linux 系统： 1】关闭文件系统/分区的atime 选项 Vi /etc/fstab 在对应的分区项后面添加noatime ,nodiratime LABEL=/1 / ext3 defaults 1 1 LABEL=/data1 /data ext4 defaults,noatime,nodiratime 1 2 2】设置文件句柄4k+，目前该配置已经集成到启动脚本中。 Vi /etc/security/limit.conf * soft nproc 65536 * hard nproc 65536 * soft nofile 65536 * hard nofile 65536 3】不要使用large vm page （不要使用大内存页选项） Linux 大内存页参考：http://linuxgazette.net/155/krishnakumar.html 4】用dmesg 查看主机的信息。 2.linux 文件系统的选择： Mongodb 采用预分配的大文件来存储数据,我们推荐 1】ext4 2】xfs 3.内核版本： 网络上对2.6.33-31 以及2.6.32 的表现持怀疑度， 而强力推荐2.6.36 4.线程堆栈的尺寸 默认的线程堆栈尺寸为10m ，调整为1m ，已经集成在启动脚本中。 项目过程中的总结与建议 1.大小写问题 mongodb

linux系统中日志分析 是很重要的一部分，下面介绍一下简单的日志自定义配置和日志收集 1 日志配置 配置文件在/etc/rsyslog.conf中 日志分为日志类型，日志级别。 日志类型： mail 邮件类型 cron 定时任务类型 user 用户类型 authpriv 审计类型 news 新闻类型 kern 内核数据类型 daemon 守护类型 日志级别（告警级别） 0 debug 调试级别 1 info 消息级别 2 notice 注意级别 3 warning 告警级别 4 err 错误级别 5 crit 级别 6 aler 级别 7 emerg 急救级别 可以根据自己的定义A.B 其中A是日志类型B是日志级别，配置好日志输出在那些文件中 # test mail.err /var/log/myMailErr.log 配置完rsyslog.conf之后重启rsyslog： service rsyslog restart 重启完之后 /var/log/myMailErr.log 就自动生成 日志文件配置好，日志文件生成之后，可以测试一下， logger -p mail.err 'hello you mail have some error' 检查myMailErr.log 文件 2 日志收集 管理多台服务器的时候管理人员不可能登陆每一台服务器（下面就叫客户机）去查看日志

前段时间，公司换了新服务器，但是所有的服务器均出现了乱码，当然这种情况后来也出现在了部署到点上的项目中。 项目经理让我着手解决这个问题，我在网上看了很多资料，说得五花八门的，不过我最后通过其中一种方法完美解决了Linux服务器上JAVA WEB项目乱码的问题，当然，主要是日志乱码。 很简单，如果你的是Tomcat服务器，在Linux服务器上找到你的Tomcat服务器下的bin目录中的 Catalina.sh文件，编辑它，在里面的 JAVA_OPTS变量中添加“ -Dfile.encoding=GBK -Dsun.jnu.encoding=GBK ”，记住，一定是GBK的 如果是Jboss服务器，那么也是在bin目录下，但是是修改run.conf文件，也是在 JAVA_OPTS变量中添加“-Dfile.encoding=GBK -Dsun.jnu.encoding=GBK ” 。 修改好后，保存，重启服务器，搞定。 来源： oschina 链接： https://my.oschina.net/u/1158633/blog/212150