使用scapy 爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。若超过180s且三次后仍没有得到数据，就会放弃请求出现twisted.internet.error.TimeoutError 错误。此时就出现了爬取失败的情况。
错误原因：
当网络无法满足在180s内下载完所有的请求数量，就会出现此类错误。
解决办法：
这里做个示例，具体情况具体分析
1、降低同时请求的数量
CONCURRENT_REQUESTS = 2
2、 设置合适的超时时间，
DOWNLOAD_TIMEOUT = 1800
3、下载中间件中，捕获这个报错，并返回request，让它重新请求这个对象：
from twisted.internet.error import TimeoutError
def process_exception(self, request, exception, spider)：
if isinstance(exception, TimeoutError):
return request
最后
以上就是秀丽鱼最近收集整理的关于twisted.internet.error.TimeoutError错误的解决方法的全部内容，更多相关twisted.internet.error.TimeoutError错误内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
![scrapy报错解决[twisted.internet.error.TimeoutError: User timeout caused connection failure:]](https://file2.kaopuke.com:8081/files_image/reation/bcimg13.png)
发表评论 取消回复