概述
优质文章,第一时间送达!
作者:麦麦麦造
出处:segmentfault
前言
一般开发爬虫的时候,最心烦的不是它的反爬有多复杂,而是它的参数贼多,要一个个的复制进去。
所以自己写了一个小工具,把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。
大大的提高开发效率,其实代码之前已经开源了,不过用起来不太方便,于是最近就把它弄到了线上,用起来方便多了。
涉及到的工具或技术
Python 3.7
Fiddler v5.0
Charles v4.2.8
小工具
在线转换的工具网站:https://alisen39.com/
将 webForms 的数据转成 dict 格式
工具地址:https://alisen39.com/FiddlerData
在 Fiddler 里面,webForms 的数据是 POST 请求所带的参数
可以直接将其复制出来然后转换成 dict 格式,如下:
然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了!
将 Header 数据转成 dict 格式
工具地址:https://alisen39.com/FiddlerHeader
Fiddler 里的 Header 部分,在 Raw 选项里面:
将其复制出来,然后粘贴到左边:
将 Cookies 的数据转成 dict 格式
工具地址:https://alisen39.com/FiddlerCookie
Fiddler 里抓到的 Cookies 数据:
将其复制出来,然后粘贴到左边:
重磅工具!将 raw 的数据转成 reqeusts代码
最重磅的一个功能!直接将包的内容转成python代码,真心节省90%的时间。
摁头推荐!!!
工具地址:https://alisen39.com/HttpRaw
复制抓到的Raw信息,从Fiddler或者Charles里都可以。
将其复制出来,然后粘贴到左边:
再将右边的代码复制到你的IDE里面去
就这么esay了。
回复下方「关键词」,获取优质资源
回复关键词「 pybook03」,立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版
回复关键词「入门资料」,立即获取主页君整理的 10 本 Python 入门书的电子版
回复关键词「m」,立即获取Python精选优质文章合集
回复关键词「」,将数字替换成 0 及以上数字,有惊喜好礼哦~
题图:pexels,CC0 授权。
好文章,我在看❤️
最后
以上就是儒雅小蘑菇为你收集整理的winform窗体爬虫工具开发_提高爬虫开发效率的几个小工具前言小工具的全部内容,希望文章能够帮你解决winform窗体爬虫工具开发_提高爬虫开发效率的几个小工具前言小工具所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复