概述
一、遇到问题
最近遇到一个小问题 : 发现我的进程在调某个 API 的时候,不能正常 work 了。
马上一顿 strace -p pid
操作,定睛一看,
发现我的进程卡在了 recvfrom(23) 不动了,一直不会进入 accept 或者 epoll_wait ,
没有请求响应,也不会有任何的报错。
这时候才想起被requests.post
坑了,这货默认是阻塞的,除非显式指定了 timeout
值,否则不会做超时处理。
二、显式指定超时和重试
配置 requests 在经过 timeout( s )之后停止等待响应,从而避免进程一直卡住:
try:
requests.adapters.DEFAULT_RETRIES = 2
response = requests.post(url, data = body, headers = http_headers, timeout=5 )
except Exception as ee:
LOGGER.error(ee)
如此配置后,客户端在 timeout 秒内从基础套接字上必须接收到第一个字节数据, 否则就会抛出超时异常,不会再卡住了。
这里为了尽力收到数据,加了一次重试。
三、timeout 细化控制
前面配置的 “timeout=5
” ,这个值是作为 connect 和 read 二者共用的 timeout ,
可以采用元组方式对这种单值超时方式进行细化,从而支持分别设置连接和读取阶段的超时时间。
connect 连接超时
指的是客户端实现到远端服务器端口的连接时 request 所等待的时间。
连接超时一般设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口的默认大小是 3。
read 读取超时
指的客户端已经连接上服务器并且发送了 request 后,客户端等待服务器发送请求的时间。
一般指的是服务器发送第一个字节之前的时间。
元组配置方式,比如:
response = requests.post(url, data = body, headers = http_headers, timeout=(3, 1) )
元组 timeout=(3, 1) 内第一个值为连接超时时间,第二个值为读取超时时间:
最后
以上就是孝顺哈密瓜为你收集整理的requests.post 小坑: 默认无超时,会阻塞的全部内容,希望文章能够帮你解决requests.post 小坑: 默认无超时,会阻塞所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复