Python爬虫入门教程 76-100 用Celery继续搞定分布式爬虫

40 阅读 0 评论 27 点赞

我是靠谱客的博主唠叨黑夜，最近开发中收集的这篇文章主要介绍Python爬虫入门教程 76-100 用Celery继续搞定分布式爬虫，觉得挺不错的，现在分享给大家，希望可以做个参考。

写在前面

对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。

今天继续通过celery实现分布式爬虫爬取https://book.douban.com/tag/?view=type&icn=index-sorttags-all

简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。

队列的输入是一个作业单元，被称为task，我们只需要在定义好的函数上方，增加@app.task 装饰一下即可，查阅手册可以查看其它参数内容。

定义好task之后，执行worker 监控这个队列，有新作业即执行。

接下来就是正式编码部分了，我们先补充一些基本知识

celery task 任务调用有三个API：

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。