WebMagic 报错：java.lang.IllegalArgumentException：Already closed！checkInit

项目没有将所有的url都放在一起爬取，在for循环按一个一个url中去爬取启动spider网站，后来发现在第一个url顺利爬取完后，第二个url开始就报错：

后来发现是SeleniumDownloader 实在循环外启动的，导致webDriverPool的stat还是2，不能重新执行。

ps.

webDriverPool是在 SeleniumDownloader 中的checkInit中创建的。

	private void checkInit() {
		if (webDriverPool == null) {
			synchronized (this) {
				webDriverPool = new WebDriverPool(poolSize);
			}
		}
	}

 

来源：CSDN

作者：艳阳高照中最亮的星

链接：https://blog.csdn.net/fgangen/article/details/104416390