拉长发夹

文章
3
资源
0
加入时间
2年10月18天
主从分布式爬虫

主从分布式爬虫

为什么要用分布式爬虫学习爬虫已经有一段时间了，之前的爬虫都是一个python文件就实现的，没考虑性能，效率之类的。所以作为一个合格的spider，需要学习一下分布式爬虫。什么分布式爬虫？简单地说就是用多台服务器去获取数据，让这些服务器去协同，分配各自的任务。分布式爬虫设计最常用的一种就是主从分布式爬虫，本文将使用Redis服务器来作为任务队列。如图：准备工作安装python3...
爬虫 2023-06-06

他的专栏

Photoshop教程（1）
Illustrator教程（0）
爬虫（1）
MacBook（1）

他的归档

2023年09月（1）
2023年06月（1）
2022年04月（1）

热门文章

1
photoshop利用计算通道快速磨皮技巧
2
主从分布式爬虫
3
MacBook常用快捷键总结