安静曲奇

文章
5
资源
0
加入时间
3年1月12天
python爬虫进阶|异步协程前言一、基本概念二、异步协程

python爬虫进阶|异步协程前言一、基本概念二、异步协程

python爬虫进阶 | 异步协程前言一、基本概念二、异步协程前言之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身是阻塞式的编程，所以时间都花费在了等待网页结果的返回和对爬取到的数据的写入上面。而如果采用非阻塞编程，那么就没有这个困扰。这边首先要理解一下阻塞和非阻塞的区别。阻塞调用是指调用结果返回之前，当前线程会被挂起（线程进入非
爬虫 2024-07-23
python 命令行参数-Python 中最好用的命令行参数解析工具

python 命令行参数-Python 中最好用的命令行参数解析工具

Python 做为一个脚本语言，可以很方便地写各种工具。当你在服务端要运行一个工具或服务时，输入参数似乎是一种硬需（当然你也可以通过配置文件来实现）。如果要以命令行执行，那你需要一个命令行参数解析的模块来帮你做这个苦力活。Python 本身就提供了三个命令行参数解析模块，我这里罗列一下它们的大致情况供你了解。，只能简单的处理命令行参数，功能强大，易于使用，可以方便地生成标准的、符合Unix/Pos...
Other 2024-01-03
Linux下profile、bashrc、bash_profile的区别

Linux下profile、bashrc、bash_profile的区别

1. /etc/profile：此文件是为系统的每个用户设置环境配置信息，当用户第一次登录时，该文件被执行。并从/etc/profile.d目录的配置文件中搜集shell的配置。如果对此文件进行了修改，修改对所有用户都生效，要使修改生效只要source /etc/profile就行了。2. /etc/bashrc：此文件是每个用户在打开shell时的配置，对所有用户生效，修改之后只要重新打开一
Linux 2023-09-16
JS学习之数组的长度

JS学习之数组的长度

<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>数组的长度</title> <script> // var arr = ['关羽','张飞','马超','赵云','黄忠','刘备','姜超']; //
javascript 2023-08-28

他的专栏

javascript（1）
Linux（1）
Other（1）
java（1）
爬虫（1）

他的归档

2024年07月（2）
2024年01月（1）
2023年09月（1）
2023年08月（1）

热门文章

1
JS学习之数组的长度
2
Linux下profile、bashrc、bash_profile的区别
3
python 命令行参数-Python 中最好用的命令行参数解析工具
4
cookie创建的三个参数（有效期+有效路径+httponly）1.创建cookie对象+ URLEncoder.encode转码cookie
5
python爬虫进阶|异步协程前言一、基本概念二、异步协程