正直钻石

文章
4
资源
0
加入时间
2年10月21天
[234]scrapy分布式爬虫scrapy-redis(一)

[234]scrapy分布式爬虫scrapy-redis(一)

分布式爬虫原理首先我们来看一下scrapy的单机架构： 可以看到，scrapy单机模式，通过一个scrapy引擎通过一个调度器，将Requests队列中的request请求发给下载器，进行页面的爬取。那么多台主机协作的关键是共享一个爬取队列。所以，单主机的爬虫架构如下图所示： 前文提到，分布式爬虫的关键是共享一个requests队列，维护该队列的主机称为master，而从机...
爬虫 2024-07-23
关于去重复的笛卡尔积

关于去重复的笛卡尔积

最近在某些项目中用到了需要去除重复的笛卡儿积，总体思路就是全部for循环最后减去重复的if (_self.arr[0] instanceof Array && _self.arr[1] instanceof Array) { if (_self.arr[0].length > 0 && _self.arr[1].length > 0) { _self.total
Other 2023-12-05
让IT人士远离慢性疲劳

让IT人士远离慢性疲劳

导读：我们都不得不承认这样的一个事实：我们很累。快节奏的生活迫使我们把体力和精力都用到了极限，慢性疲劳淹没了我们。在所有来访的职场人当中，IT行业的从业人员无疑是慢性疲劳症状最为明显的一部分人群。面对这样的情况，考虑IT行业的工作特性，听心推荐大家试一试认知行为疗法吧，在战胜疲劳的诸多方法里，它的效果非常不错，又可以独立完成。有越来越多的职场人士走进心理咨询室，他们传递和表达着这样的一个信息：我很...
Other 2023-09-03
怎么样对阿里云ECS主机进行绑定域名

怎么样对阿里云ECS主机进行绑定域名

首先我有个阿里的 域名+虚拟云主机 搭建了一个wordpress 的网站 地址为： www.liuxun.name/wordpress (liuxun.name/wordpress)现在我想把一个阿里云的ECS主机，里面装了tomcat, 希望以 www.java.liuxun.name:8080 (java.liuxun.name:8080 ) 访问tomcat服务器，如果tomcat webapps下部署了项目 xxx 遍可以 www.java.liuxun.name:8080/xxx ..
腾讯云 2023-06-09

他的专栏

JavaScript（0）
Photoshop教程（0）
主板（0）
腾讯云（1）
Other（2）
爬虫（1）

他的归档

2024年07月（1）
2023年12月（1）
2023年09月（1）
2023年06月（1）

热门文章

1
怎么样对阿里云ECS主机进行绑定域名
2
让IT人士远离慢性疲劳
3
关于去重复的笛卡尔积
4
[234]scrapy分布式爬虫scrapy-redis(一)