尊敬大船

文章
4
资源
0
加入时间
3年1月12天
02-27 提高scrapy爬取效率的方法

02-27 提高scrapy爬取效率的方法

1、增加并发（增加并发线程数）scrapy默认开启的线程为32个，可以适当增加。在setting文件中修改为 1002、降低日志级别在运行scrapy时会有大量日志信息输出，为了减少日志信息的输出，降低CPU的使用率，可以设置输出错误日志 LOG_LEVEL='ERROR' 或者 'INFO'3、禁止cookie如果不是真的需要cookie，则在爬取数据时可以禁止cookie，从而减少CPU的使用率。在setting中写 COOKIES_ENABLED=False4、禁止重试：对
知识要点 2024-07-23
第一次考核总结

第一次考核总结

（1）基础不牢：final（final可以修饰类，变量，方法，且修饰变量是变量不能更改，修饰方法是方法不能被覆盖重写，修饰类时类不能有子类。）与static（static是类变量，不能被定义在方法中）修饰对象不了解。其中length的应用也十分模糊（数组中没有方法，用下arr.length是利用数组的属性。）。（2）逻辑不通：做题和日常中我经常出现代码没啥问题，但逻辑存疑的情况，比如这次i=i++的问题。所以以后敲代码要多思考了，减少逻辑问题。（3）脱离书本：我在前一段的学习中基本不怎么看书，顶
排序算法 2023-08-21

他的专栏

python编程（0）
Mysql（0）
JavaScript（0）
Photoshop教程（1）
处理器CPU（1）
排序算法（1）
知识要点（1）

他的归档

2024年07月（1）
2023年08月（1）
2022年04月（2）

热门文章

1
ps怎么把不新鲜的草地变得绿油油?
2
AMD Ryzen7 1700X和1700哪个好/有何区别？附天梯图性能对比图
3
第一次考核总结
4
02-27 提高scrapy爬取效率的方法