yield

迭代器 1，可迭代对象 在Python中，含有iter方法的对象，都是可迭代对象 str ,list,dict,set，tuple都是可迭代对象 判断方法：print(dir(数据类型))，查看源码 优点：,使用灵活，可以直观的查看里面的数据 缺点：占用内存 2，迭代器 可迭代对象执行obj.__iter__()得到的结果就是迭代器 而迭代器对象指的是即内置有__iter__又内置有__next__方法的对象 在Python中，内部含有iter方法并且含有next方法的对象就是迭代器 迭代器：在可迭代对象中，只有文件句柄是迭代器 可迭代对象转换为迭代器 str list ... ### .__iter__() 就是迭代器 dict set s = [1,2,3,4,5,6.] count = len(s) new_s = s.__iter__() while count: print(new_s.__next__()) count -= 1 for i in 的方式 s = [1,3,4,5,6,2,7] new_s = s.__iter__() while True: try: pirnt(new_s.__next__()) except StopIteration: break 优点：节省内存，惰性机制 缺点：不能直观的看到里面的数据， 递归 不断调用自己本身 有明确的终止条件

sleep和yield都不会释放锁 sleep不出让cpu使用权，仅暂停执行 yield出让cpu使用权，但处于可运行状态 wait、notify、notifyall被调用之前需要持有锁，调用之后释放锁，是一个“等待通知机制” notify是cpu唤醒被锁的对象上随意一个线程，所以最好使用notifyall 来源： https://www.cnblogs.com/hzq3554055/p/12045829.html

生成器 一边循环一边计算出后续元素的机制，称为生成器：generator 创建generator的第一种方法： 把列表生成式的[ ]改为（ ）： >> > L = [ x * x for x in range ( 10 ) ] >> > L [ 0 , 1 , 4 , 9 , 16 , 25 , 36 , 49 , 64 , 81 ] >> > g = ( x * x for x in range ( 10 ) ) >> > g < generator object < genexpr > at ox1022ef63 > 可以通过next（ ）函数获得generator的下一个返回值。 >> > next ( g ) 0 >> > next ( g ) 1 . . . 超出索引范围后会Stop Iteration 更高效的获取generator的方法是使用for >> > for n in g : print ( n ) 创建generator的第二种方法是yield语句 调用next（）的时候执行，遇到yield语句返回，再次执行时从上一次的返回的yield语句处继续执行。 例：定义一个generator，依次返回数字1,3，5 >> > def odd ( ) : print ( 'step 1' ) yield 1 print ( 'step 2' ) yield ( 3 )

说明：初学者，整理后方便能及时完善，冗余之处请多提建议，感谢！ 了解内容： Scrapy ：抓取数据的爬虫框架 异步与非阻塞的区别 异步：指的是整个过程，中间如果是非阻塞的，那就是异步过程； 非阻塞：关注拿到结果之前的状态 （如果拿到结果前在等待，是阻塞，反之，是非阻塞） 理解： Scrapy 基本工作流程（简单--->复杂） 每个模块间不通讯，模块之间通过引擎进行数据传输 基本使用 一、创建spider scrapy项目流程 ---创建项目 ---scrapy startproject xxxx ---创建爬虫 ---cd 项目目录下 ---scrapy genspider aaa allowed_domains"” scrapy genspider first_spider jpdd.com 　　first_spider 爬虫名字 　　 jpdd.com 限制爬取数据的范围 --完善spider ---提取数据，提取url地址构成request对象 xpath extract_first()\extract() response.meta yield scrapy.Requeest --完善管道 --运行爬虫 --- cd 项目目录 ---scrapy crawl first_spider 注意 ：避免爬虫名和项目名重复 ； 不管在终端还是pycharm 都要切换到当前目录下