强健大侠

文章
9
资源
0
加入时间
2年10月17天

爬虫库(Requests-Cache爬虫缓存)简述安装在Requests中使用缓存示例缓存的存储机制

Requests-Cache爬虫缓存简述安装在Requests中使用缓存简述Requests模块的扩展功能,通过Requests发送请求来生成相应的缓存数据。当Requests重复向同一个URL发送请求的时候,Requests-Cache会判断当前请求是否已产生缓存,若已有缓存,则从缓存里读取数据作为响应内容;若没有缓存,则向网站服务器发送请求,并将得到的响应内容写入相应的数据库里。减少网络资源重复请求的次数,不仅减轻了本地的网络负载,而且还减少了爬虫对网站服务器的请求次数,这也是解决反爬虫机制

lua-nginx针对post上传内容解析

基于lua-nginx针对post上传请求,解析上传请求内容,这里做了畸形报文检测。在针对http上传请求流量时,可以采取这种方法进行解析和过滤识别上传内容。根据解析后的内容,可以手动写规则进行拦截过滤等。进一步的还可以获取上传的文件内容,文件名,文件大小等信息。针对文件进行实时的或者离线的文件内容分析,判断是否是恶意的文件上传webshell等。这里只贴出解析部分代码,后续扩展可自行实现。function _M.parse_request_body(waf, request_he

MFC 界面线程和工作者线程

每个系统都有线程,而线程的最重要的作用就是并行处理,提高软件的并发率。针对界面来说,还能提高界面的响应力。 线程分为界面线程和工作者线程,界面实际就是一个线程画出来的东西,这个线程维护一个“消息队列”,“消息队列”也是界面线程和工作者线程的最大区别,这个词应该进到你的脑子里,根深蒂固的!如果在界面线程的某个地方停住,这说明它处理不了窗口消息了,所以有时候我们就会看到整个界面无响应了。这种问...