scrapy_cookie禁用_延迟下载_自定义爬虫setting

如何设置禁止cookie？

       在setting中 添加字段：

              COOKIE_ENABLED = False                            # False关闭cookie，True打开

如何设置下载限速？

       在setting中 添加字段：

              TELNETCONSOLE_ENABLED = False            # 默认为0

       如何动态设置下载速度？

              DOWLAND_DELAY = 0                                  # 默认为0

如何给不同的spider设置不同的setting值？

       在每个spider类中添加一个字段，和name同级，字典形式：

              custom_settings = {

       　　　　COOKIE_ENABLED = True

　　}

　　spider启动的时候，用这个custom_settings更新整个全局设置

来源：https://www.cnblogs.com/2bjiujiu/p/7368095.html