优秀白云

文章
6
资源
0
加入时间
2年10月18天

Scrapy 框架里爬取多页数据 yield 卡住的问题

1@ 前言漫长的寒假必须找点事情来做,刚好换了系统,准备将笔记全部从石墨腾到印象。在复习 scrapy 框架的时候, 遇到了一个问题,就是在爬取多个页面的换页时候,要进行 yield 操作来进行下一个页面的爬取,但是爬取完第一页后,老是卡在那里,也不报错,就是单纯的卡,也花费了一些时间解决,故在此记录下。2@ 过程首先上我出问题的代码段:class PoemSpider(scrapy.Sp...