log文件

在config.php中阿计入如下配置： 'LOG_RECORD' => false, // 默认不记录日志 'LOG_TYPE' => 'File', // 日志记录类型 默认为文件方式 'LOG_LEVEL' => 'EMERG,ALERT,CRIT,ERR',// 允许记录的日志级别 'LOG_EXCEPTION_RECORD' => false, // 是否记录异常信息日志 有可能它还会记录，那么就在index.php文件中把调试模式关掉 // 开启调试模式 建议开发阶段开启 部署阶段注释或者设为false define('APP_DEBUG',false);

1.hive模糊搜索表 show tables like '*name*'; 2.查看表结构信息 desc formatted table_name; desc table_name; 3.查看分区信息 show partitions table_name; 4.根据分区查询数据 select table_coulm from table_name where partition_name = '2014-02-25'; 5.查看hdfs文件信息 dfs -ls /user/hive/warehouse/table02; 6.从文件加载数据进表(OVERWRITE覆盖,追加不需要OVERWRITE关键字) LOAD DATA LOCAL INPATH 'dim_csl_rule_config.txt' OVERWRITE into table dim.dim_csl_rule_config; --从查询语句给table插入数据 INSERT OVERWRITE TABLE test_h02_click_log PARTITION(dt) select * from stage.s_h02_click_log where dt='2014-01-22' limit 100; 7.导出数据到文件 insert overwrite directory '/tmp/csl_rule_cfg

<?xml version="1.0" encoding="UTF-8"?> <!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 --> <!-- scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true --> <!-- scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 --> <!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 --> <configuration scan="true" scanPeriod="10 seconds"> <contextName>logback</contextName> <!-- name的值是变量的名称，value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义变量后，可以使“${}”来使用变量。 --> <property name="log.path" value="../anny1/logs" /> <!-- 彩色日志 --> <!-- 彩色日志依赖的渲染类 -->

主要思路 打开目标文件输入流，读取相关流信息，找出'best'流的索引index，读取流中的frame中数据写入&pkt然后写入文件 相关代码 #include <stdio.h> #include <libavutil/log.h> #include <libavformat/avio.h> #include <libavformat/avformat.h> #define ADTS_HEADER_LEN 7; void adts_header(char *szAdtsHeader, int dataLen){ int audio_object_type = 2; int sampling_frequency_index = 7; int channel_config = 2; int adtsLen = dataLen + 7; szAdtsHeader[0] = 0xff; //syncword:0xfff 高8bits szAdtsHeader[1] = 0xf0; //syncword:0xfff 低4bits szAdtsHeader[1] |= (0 << 3); //MPEG Version:0 for MPEG-4,1 for MPEG-2 1bit szAdtsHeader[1] |= (0 << 1); //Layer:0 2bits szAdtsHeader

1.离线部署大纲 MySQL离线部署 CM离线部署 2.规划 linux版本:CentOS 7.2 节点 MySQL组件 CM服务进程 hadoop001 MySQL Parcel Alert Publisher Event Server NN RM DN NM ZK hadoop002 Alert Publisher Event Server DN NM ZK hadoop003 Host Monitor Service Monitor DN NM ZK 3.下载源 CM cloudera-manager-centos7-cm5.16.1x8664.tar.gz Parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 manifest.json JDK JDK8 下载jdk-8u202-linux-x64.tar.gz MySQL MYSQL5.7 下载mysql-5.7.26-el7-x86_64.tar.gz MySQL JDBC jar mysql-connector-java-5.1.47.jar 下载完成后要重命名去掉版本号 mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar 1

备份和恢复 备份类型： 完全备份，部分备份 完全备份：整个数据集 1 部分备份：只备份数据子集，如部分库或表 完全备份、增量备份、差异备份 2增量备份：仅备份最近一次完全备份或增量备份（如果存在增量）以来变化的数据，备份较快，还原复杂 3差异备份：仅备份最近一次完全备份以来变化的数据，备份较慢，还原简单 注意：二进制日志文件不应该与数据文件放在同一磁盘 备份和恢复 冷、温、热备份 冷备：读写操作均不可进行 温备：读操作可执行；但写操作不可执行 热备：读写操作均可执行 MyISAM：温备，不支持热备 InnoDB：都支持 物理和逻辑备份 物理备份：直接复制数据文件进行备份，与存储引擎有关，占用较多的空间，速度快 逻辑备份：从数据库中“导出”数据另存而进行的备份，与存储引擎无关，占用空间少，速度慢，可能丢失精度 备份时需要考虑的因素 温备的持锁多久 备份产生的负载 备份过程的时长 恢复过程的时长 备份什么 数据 二进制日志、InnoDB的事务日志 程序代码（存储过程、函数、触发器、事件调度器） 服务器的配置文件 备份工具 cp, tar等复制归档工具：物理备份工具，适用所有存储引擎；只支持冷备；完全和部分备份 LVM的快照：先加锁，做快照后解锁，几乎热备；借助文件系统工具进行备份 mysqldump：逻辑备份工具，适用所有存储引擎，温备；支持完全或部分备份

kubernetes 实践指南 kubernetes安装与配置 至少两台主机 docker versio >1.9 https://www.docker.com etcd version>2.0 https://github.com/cores/etcd/releases linux core>3.10 安装：yum install kubernetes 二进制安装：https://github.com/kubernetes/kubernetes/releases kubernetes.tar.gz包括了kubernetes的服务程序文件， 解压后 server中包括了要运行的全部服务程序文件 hyperkube 总控程序 kube-apiserver apiserver主程序 kube-apisever.docker_tag apiserver docker 镜像的tag kube-apiserver.tar apiserverdocker 镜像文件 kube-controller-manager controller-manager 主程序 kube-controller-manager.docker.tag controller-manager docker 镜像的tag kube-controller-manager.tar controller-manager

由于项目的需要，现在需要通过一种方式，让Python程序能够在会话退出后继续在后台运行，并将屏幕的输出重定向到文件中去。 本文的示例代码已经上传到 http://download.csdn.net/detail/mrbcy/9789067 参考资料 http://blog.csdn.net/loonger_leon/article/details/5764552 http://www.cnblogs.com/hester/p/5575658.html 测试程序 先写一个测试程序，用于输出日志和打印到控制台。 #-*- coding: utf-8 -*- import logging import time from logging.handlers import RotatingFileHandler def func(): init_log() while True: print "output to the console" logging.debug("output the debug log") logging.info("output the info log") time.sleep(3); def init_log(): logging.getLogger().setLevel(logging.DEBUG) console = logging

一、时间模块（time、datetime） Python中有三种时间的表示方式： 1.1、几种时间表示方 1 #时间戳转结构化时间 2 import time 3 y=time.time() #时间戳 4 x=time.localtime(y) #时间戳转换结构化时间 5 #结构化时间转成时间戳 6 z=time.mktime(x) #结构化时间z转时间戳 7 time.gmtime() #世界标准时间（结构化时间） 8 9 10 #结构化时间转换为格式化时间 11 time.strftime(%Y-%m-%d-%b %H:%M:%S',x)) #可带参数指定结构化时间 12 time.strftime('%Y/%m/%d %H:%M:%S') #没有参数默认就是localtime 13 #格式化时间转换成结构化时间 14 time.strptime('2011-05-05 16:37:06', '%Y-%m-%d %X')) 15 #strptime(string, format) 16 17 # %Y %m %d %H %M %S %X %a %b 18 # 年 月 日 时 分 秒 时分秒统称 周 月 19 20 21 time.asctime() 22 #把一个表示时间的元组或者struct_time表示为这种形式：'Sun Jun 20 15:21:05 1998'

基于 MHA 的 MySQL 高可用方案 一、 MHA 简介 MHA （ Master High Availability ） 目前在 MySQL 高可用方面是一个相对成熟的解决方案， 它由日本 DeNA 公司的 youshimaton 员工（现就职于 Facebook 公司）开发，是一套优秀的作为 MySQL 高可用性环境下故障切换和主从角色提升的高可用软件。在 MySQL 故障切换过程中，MHA 能做到在 0~30 秒之内自动完成数据库的主从故障切换操作，并且在进行故障切换的过程中，MHA 能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 M HA 由两部分组成： M H A M a n a g e （ r 管理节点 ） 和 M H A N o d e （数据节点 ） 。MHA Manager 可以单独部署在一台独立的机器上管理多个 master-slave 集群，也可以部署在一台 slave 节点上。MHA Node 运行在每台MySQL 服务器及Manager 服务器上，MHA Manager 会定时探测集群中的 master 节点，当 master 出现故障时，它可以自动将拥有最新数据的 slave 提升为新的 master，然后将所有其他的 slave 重新指向新提升的 master。整个故障转移过程对应用程序层面完全透明。 在 MHA 自动故障切换过程中