一、调度器在爬虫中的位置以及作用
它是一个主循环，负责循环调取待爬取的url链接还有负责去重，去掉已经爬取的url链接，还有将未爬取的url链接给下载器进行数据的爬取。
二、调度器的主循环如图所示
三、在调度器中需要建立四个原件，分别是url管理器、html下载器、html解析器和数据存储器的实例
四、添加初始url
五、调度器主循环
六、总结
调度器是一个主循环中心，不停的将新的待爬取的url推到html下载器来进行信息的获取，将老的已爬取的url放入url仓库中。
来源：https://www.cnblogs.com/renleiblog/p/12446798.html