jsoup

在几个月前上线的一个采集项目，构架是基于java + selenium + chromedriver + chrome实现的采集。至于为哈不直接用jsoup或httpclient实现采集功能，是因为很多被采集页面都是通过js来渲染内容的，所以必须用webdriver+chrome来模拟真正的浏览器访问来采集。 每隔一段时间就会出采集失败问题，出现的时间没有规律，可能两天出现一次，可能一星期出现一次，可能一个月出现一次.... 用linux top命令来查看服务器，会发现很多的chromedriver和chrome的进程 用ps命令查看服务器 ps -aux | grep chrome 存在状态为Sl和Z的休眠进程和僵尸进程，启动时间都不是当天，根据系统本身业务逻辑，进程不会存在运行那么长时间的情况。而java进程则全部都能正常关闭，但java进程启动的chromedriver和chrome进程不一定能同时关闭，目前出现这种问题的原因未找到。 最初想用命令把卡死的进程查出来批量杀掉 ps -A -o stat,ppid,pid,cmd | grep -e '^[Zz]' | awk '{print $2}' | xargs kill -9 //杀死僵尸进程 结果发现只能查杀Z状态的僵尸进程，Sl状态的进程，一部分是正常的，一部分是需要杀死的（启动时间为Nov07

JSOUP is XSS prevention tool. Jsoup can detect xss script in html and url also. Now i am giving example with url. Jsoup can validate the url with the help of "isValidate()" method. "isValidate()" method return type is boolean. If return type is true that means url having xss script so we need to clean the url with the help of "clean()" method. "clean()" method will return clean url as string. JSOUP can handle all cheat sheet scenarios. url of cheat sheet is: "https://www.owasp.org/index.php/XSS_Filter_Evasion_Cheat_Sheet" JSOUP has clear api. "http://jsoup.org/apidocs/" Antisamy also one of

测试 来源： oschina 链接： https://my.oschina.net/yangmufa/blog/3160203

最近赋闲在家, 就想找点事情做,就想着爬爬小视频什么的,于是就有了下面这个程序, 没什么难度, 就是给大家分享下思路 下面就用 https：// www。avtb6677 。 com来举例: 1, 找一个工具来下载相关页面代码, 我用的是teleport来只下载页面, 不下载其他的, 这大概等了1个小时就好了, 这工具挺好的,比写代码来爬全站来得快. 2, 这一个小时期间, 我写完了以下代码, 大概只用了20分钟吧. package aa; import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.alibaba.fastjson.JSON; public class AvTaoBao6677 { public static String list = "c:/aaa.list"; //下载页面的目录 static String

一、XML概述 1. 什么是XML * Extensible Markup Language 可扩展标记语言 2. XML的基本语法 ① 基本语法： * xml文档的后缀名 .xml * xml首行必须定义为文档声明 * xml文档中有且仅有一个根标签 * 属性值必须使用引号(单双都可)引起来 * 标签必须正确关闭 * xml标签名称区分大小写 # XML语法严格，标签自定义，主要用来存储数据 # CDATA 区【 <![CDATA[ 数据 ]]>】内数据将原样展示 ② 示例 <?xml version='1.0' encoding="UTF-8" ?> <users> <user id='001'> <name>tom</name> <age>18</age> <gender>male</gender> <br/> </user> <user id='002'> <name>jack</name> <age>18</age> <gender>female</gender> </user> </users> 3. XML约束 ① 分类 * DTD【简单、有漏洞】 * Schema ② DTD使用方法 * 本地：<!DOCTYPE 根标签名 SYSTEM "dtd文件的位置"> * 网络：<!DOCTYPE 根标签名 PUBLIC "dtd文件名字" "dtd文件的位置URL"> ③