我是靠谱客的博主 孝顺哈密瓜,最近开发中收集的这篇文章主要介绍requests.post 小坑: 默认无超时,会阻塞,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述




一、遇到问题


最近遇到一个小问题 : 发现我的进程在调某个 API 的时候,不能正常 work 了。

马上一顿 strace -p pid 操作,定睛一看,
发现我的进程卡在了 recvfrom(23) 不动了,一直不会进入 accept 或者 epoll_wait ,
没有请求响应,也不会有任何的报错。

这时候才想起被requests.post 坑了,这货默认是阻塞的,除非显式指定了 timeout 值,否则不会做超时处理。




二、显式指定超时和重试


配置 requests 在经过 timeout( s )之后停止等待响应,从而避免进程一直卡住:

    try:
       requests.adapters.DEFAULT_RETRIES = 2
       response = requests.post(url, data = body, headers = http_headers, timeout=5 )
    except Exception as ee:
       LOGGER.error(ee)

如此配置后,客户端在 timeout 秒内从基础套接字上必须接收到第一个字节数据, 否则就会抛出超时异常,不会再卡住了。
这里为了尽力收到数据,加了一次重试。




三、timeout 细化控制


前面配置的 “timeout=5” ,这个值是作为 connect 和 read 二者共用的 timeout ,

可以采用元组方式对这种单值超时方式进行细化,从而支持分别设置连接和读取阶段的超时时间。

connect 连接超时
指的是客户端实现到远端服务器端口的连接时 request 所等待的时间。
连接超时一般设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口的默认大小是 3。

read 读取超时
指的客户端已经连接上服务器并且发送了 request 后,客户端等待服务器发送请求的时间。
一般指的是服务器发送第一个字节之前的时间。

元组配置方式,比如:

response = requests.post(url, data = body, headers = http_headers, timeout=(3, 1) )

元组 timeout=(3, 1) 内第一个值为连接超时时间,第二个值为读取超时时间:




最后

以上就是孝顺哈密瓜为你收集整理的requests.post 小坑: 默认无超时,会阻塞的全部内容,希望文章能够帮你解决requests.post 小坑: 默认无超时,会阻塞所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(64)

评论列表共有 0 条评论

立即
投稿
返回
顶部