info

日志处理是一个正式项目必备的功能，日志要能够根据时间、类型等要素，根据指定格式来保存指定的日志，方便我们观察程序运行情况、定位程序bug。 SpringBoot中推荐使用Logback日志框架。 本节示例项目在 https://github.com/laolunsi/spring-boot-examples slf4j：一个针对各类Java日志框架的统一facade抽象。 java常见日志框架：java.util.logging, log4j, logback, commons-logging logback是log4j的作者开发的新一代日志框架，目前应用最广泛。SpringBoot默认使用logback，默认INFO级别 Logback： 日志加载顺序：logback.xml -> application.properties -> logback-spring.xml 一、日志级别 log4j定义的日志级别：debug/info/warn/error/fatal warn，潜在错误；error，错误，可能导致程序退出；fatal，严重错误，程序会退出 还有两个特殊的级别：OFF-最高级别，ALL-最低级别 log4j建议仅使用debug/info/warn/error四个级别 日志级别：ERROR -> WARN -> INFO -> DEBUG 如配置日志级别为INFO

此篇为运维人员（开发）经常使用的查看系统状态的相关命令，主要综合了awk,grep ,sed等文本处理命令，能够大大提高工作效率，在此做个简单分享，也便于自己以后查找，毕竟好记性不如烂笔头。 获取etho网卡的ip: ifconfig eth0 |grep "inet" |awk '{print $2}' 获取cpu信息 cat /proc/cpuinfo|grep "model name"|tail -l |cut -d: -f 2 |sed 's/^//g'|awk '{print $1,$3,$4,$NF}' cut -d: -f 2 以冒号分割，截取第二列 sed 's/^ //g' 将行首的空格去掉 awk '{print $1,$3,$4,$NF}' 默认以空格分隔，打印第1，3，4及最后一列 获取cpu 个数 physical id cat /proc/cpuinfo|grep "physical id"|sort|uniq -c|wc -l sort|uniq -c 统计不同行的个数 wc -l 一共有多少行 获取磁盘信息 fdisk -l|grep "Disk"|grep -v "identifier"|awk '{print $2,$3,$4}'|sed 's/,//g' grep -v "identifier" 不取含有“identifer”的一列 sed

日志处理是一个正式项目必备的功能，日志要能够根据时间、类型等要素，根据指定格式来保存指定的日志，方便我们观察程序运行情况、定位程序bug。 SpringBoot中推荐使用Logback日志框架。 本节示例项目在 https://github.com/laolunsi/spring-boot-examples slf4j：一个针对各类Java日志框架的统一facade抽象。 java常见日志框架：java.util.logging, log4j, logback, commons-logging logback是log4j的作者开发的新一代日志框架，目前应用最广泛。SpringBoot默认使用logback，默认INFO级别 Logback： 日志加载顺序：logback.xml -> application.properties -> logback-spring.xml 一、日志级别 log4j定义的日志级别：debug/info/warn/error/fatal warn，潜在错误；error，错误，可能导致程序退出；fatal，严重错误，程序会退出 还有两个特殊的级别：OFF-最高级别，ALL-最低级别 log4j建议仅使用debug/info/warn/error四个级别 日志级别：ERROR -> WARN -> INFO -> DEBUG 如配置日志级别为INFO

"C:\Program Files\Java\jdk1.8.0_181\bin\java.exe" "-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2018.2.4\lib\idea_rt.jar=55273:C:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2018.2.4\bin" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext

最近刚入职一家创业公司，是做物流仓库管理服务的，所包含的系统以及模块还是挺多的，同时业务也比较复杂，感觉能得到不少的锻炼 。之前就对SSO单点登录比较感兴趣，刚好公司用了cas单点登录，所以自己就简单的了解了一下，后面有了实战经历，再给大家分享，今天就给大家简单的介绍下cas单点登录的一个大致原理。 首先，贴一张图介绍一下大致的过程，如下： 下面，笔者将分一下几个步骤进行介绍： 一、https以及hosts文件配置 由于cas服务器要求https协议，所以我们得配置服务器支持https协议，那么也就需要证书，这里我们使用jdk自带的keytool来生成证书，然后再配置到服务器，另外sso client所在的服务器需要用jdk导入证书即可，这里关于证书的生成和导入不做介绍，大家可以自行搜索资料。 笔者这里使用的是tomcat服务器，当然也可以使用resin、jetty等服务器。tomcat https配置只需要打开server.xml中的https配置即可，如下： < Connector port = "8443" protocol = "org.apache.coyote.http11.Http11Protocol" maxThreads = "150" SSLEnabled = "true" scheme = "https" secure = "true"

以前发过一些docker相关的文章，也发过一些Springboot相关的文章，今天这篇文章是教大家如何在win10下面基于docker构建Springboot项目 工具 & 环境 maven jdk idea docker win10 win10上安装Docker 软件安装这个就不多说了，大家可以参考这个帖子 ：链接如下：https://blog.csdn.net/hunan961/article/details/79484098 主要注意两点就行了： 1.允许版本：64位Windows 10 Pro，专业版、企业版和教育版 2.开启虚拟化。 安装完成后，看到一个驮着很多集装箱的鲸鱼没，盘它！错了 ，点击启动它。 docker 安装完默认的docker hub 网址是 hub.docker.com ，注册一下，后面用到，比如，博主注册的账户是492782442 创建一个Springboot项目并且整合docker 如图：使用idea的傻瓜式操作创建一个Springboot项目 项目创建好以后在pom里面加入 docker - maven - plugin <properties> <docker.image.prefix> 492782442 </docker.image.prefix> </properties> <plugin> <groupId> com.spotify <

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 Docker version 18.06.1-ce, build e68fc7a 新建SpringBoot应用 参考 《Spring Boot | 使用Spring Initializr快速创建》 ，新建 demo 项目 完整 pom.xlm <?xml version="1.0" encoding="UTF-8"?> < project xmlns = " http://maven.apache.org/POM/4.0.0 " xmlns: xsi = " http://www.w3.org/2001/XMLSchema-instance " xsi: schemaLocation = " http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd " > < modelVersion > 4.0.0 </ modelVersion > < groupId > com.example </ groupId > < artifactId > demo </ artifactId >

一.分析网页结构并编写程序 import requests import csv import time import math import random from lxml import etree from multiprocessing . dummy import Pool def getPage ( url ) : time . sleep ( random . choice ( [ 2 , 2.5 , 3 , 3.5 ] ) ) page = requests . get ( url , headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.110" } ) return etree . HTML ( page . text ) def csvWrite ( item ) : with open ( "lianjia_sh_ershoufang_data.csv" , "a" , encoding = "utf-8" , newline = "" ) as f : csv . writer ( f ) .

思路介绍 爬取链家广州所有小区信息、在售楼盘及所有历史成交记录，对于超过100个页面的信息，采用曲线爬取的方式，先爬每个小区，然后爬每个小区的在售楼盘及成交记录，后期将进行相应更新，进一步研究Cookie的使用、Proxy(代理)的设置、模拟登录、验证码识别等问题。环境基于Python 2.7。 请求 这里我使用的package是urllib和urllib2，这里列一下爬取过程中需要注意的一些问题。 - 模拟浏览器的行为，设置headers。 - Python 2.x中常见的字符编码和解码问题 首先了解一下字节、字符和编码的关系，ASCII、Unicode和UTF-8的关系，ASCII码一共规定了128个字符的编码，Unicode是一个符号集，只规定了符号的二进制代码，没有规定此二进制代码应该如何存储，结果出现Unicode的多种存储方式，即有许多种不同的二进制格式，可以用来表示Unicode。而UTF-8就是目前使用最广的一种Unicode的实现方式。 Python 2.x里有两种类型的字符串类型：字节字符串和Unicode的字符串。Python根据电脑默认的locale设置将字节转换为字符。 # 获取系统默认的编码方式 <<< import sys <<< print sys.getdefaultencoding() 'ascii' # windows默认的编码是ascii #

关于链家的数据爬取和分析 已经实现 1.房屋数据爬取并下载 2.房屋按区域分析 3.房屋按经纪人分析 4.前十经纪人 5.经纪人最有可能的位置分析 6.实现以地区划分房屋 目前存在的问题: 1.多线程下载的时候会出现个别文件不继续写入了（已经解决） 2.未考虑经纪人重名问题 3.查询中发现不是每次都能 get 到 url 的数据，具体原因可能跟header有关，或者网站反扒（已经解决，手机端的header有时候访问pc端会出现None的情况） 4.守护线程那里应该出问题了，如果有文件储存完成，其他就不运行了（已经解决，多线程下还要有主程序运行，否则会出现问题） 5.json.dumps(dict)方法取出的字符串类型，二进制的，decode不好用，怎么解决 （已经解决json.dumps(content, ensure_ascii=False)保持原有的编码） 1 # -*- coding: utf-8 -*- 2 # @Time :2018/5/1 23:39 3 # @Author : ELEVEN 4 # @File : _链家_数据分析_修改.py 5 # @Software: PyCharm 6 7 import time 8 from lxml import etree 9 from urllib import request 10 import threading