我是靠谱客的博主 平淡银耳汤,这篇文章主要介绍[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET>(failed 3 times): 500 Internal Ser正确代码,现在分享给大家,希望可以做个参考。
报错信息
这里是为了实现scrapy爬虫的翻页功能,错误很低级,但旨在介绍一下解决被编码问题的便捷思路。
2023-01-20 10:46:00 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1674182235677&countryId=&cityId
=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex=%7B%7D&pageSize=10&language=zh-cn&area=cn> (failed 3 times): 500 Internal Server Error
错误分析
pageIndex=%7B%7D,浏览器搜索编码转换,选择url编码/解码。我们可以发现%7B%7D解码后为 {}。
也就是说网页链接传入错误
从报错信息中,我们可以发现状态码为500,属于服务器错误类别,所以可以排除爬虫被服务器捕捉到的可能。
def parse(self, response,**kwargs):
for i in range(1,10):
self.index_add_url = self.index_url.format(i)
yield scrapy.Request(url=self.index_url,callback=self.page_index_parse)
正确代码
yield里url的链接传错了
def parse(self, response,**kwargs):
for i in range(1,10):
self.index_add_url = self.index_url.format(i)
yield scrapy.Request(url=self.index_add_url,callback=self.page_index_parse)
最后
以上就是平淡银耳汤最近收集整理的关于[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET>(failed 3 times): 500 Internal Ser正确代码的全部内容,更多相关[scrapy.downloadermiddlewares.retry]内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复