Weblog

文件准备 centOS下安装wget命令 yum -y install wget wget http://labfile.oss.aliyuncs.com/courses/832/weblog_entries.txt hdfs和本地文件相互复制（hadoop shell命令） 1、 在 HDFS 中创建一个新文件夹，用于保存 weblog_entries.txt 文件： hadoop fs -mkdir -p /data/weblogs 2、 将 weblog_entries.txt 文件从本地文件系统复制到 HDFS 刚创建的新文件夹下： hadoop fs -copyFromLocal weblog_entries.txt /data/weblogs 3、 列出 HDFS 上 weblog_entries.txt 文件的信息： hadoop fs -ls /data/weblogs/weblog_entries.txt 注意: copyFromLocal 和 copyToLocal 只能复制文件到hdfs(hdfs复制到本地)， getmerge 则可以把hdfs中文件夹下所有文件合并成一个，复制到本地环境 使用 distcp 实现集群间数据复制 准备 保证复制源和复制目的地能够互相访问 关闭复制源集群 map 任务的推测机制，可以在配置文件 mapred-site.xml

推荐做法 1、告诉jenkins 我哪些插件需要更新 jenkins插件清华大学镜像地址 https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json 1.进入jenkins系统管理 2.进入插件管理（Manage Plugins）——高级——升级站点 2、欺骗jenkins 我要去清华真实下载插件 绑定 mirrors.jenkins-ci.org host 到本机 $ grep jenkins /etc/hosts ### jenkins ### 127.0.0.1 mirrors.jenkins-ci.org nginx反向代理到清华 # root @ web-devops-01 in /usr/local/nginx/conf/vhost [23:32:55] $ cat mirrors.jenkins-ci.org.conf server { listen 80; server_name mirrors.jenkins-ci.org; location / { proxy_redirect off; proxy_pass https://mirrors.tuna.tsinghua.edu.cn/jenkins/ ; proxy_set_header X-Real-IP $remote

1. 概述 Web 层作为服务的入口，对请求参数和响应结果的日志记录是必不可少的，本文结合 AOP 切面技术，统一处理 Web 日志。 2. 一般Web日志记录方法 大部分人，会直接在 Controller 打印日志，如下： @Slf4j @RestController public class UserController { @PostMapping("/user") public R addUser(@RequestBody User user){ log.info("user: {}", JSON.toJSONString(user)); R r = R.isOk().data(user); log.info("result: {}", JSON.toJSONString(user)); return r; } } 这种写法，导致日志代码重复，并且耦合在 Controller 层，不够优雅，也不够偷懒。 JSON 类是 fastjson 的工具类，推荐使用 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.39</version> </dependency> 3. 优雅的记录web日志 pom 文件，引入 AOP 依赖 <dependency>