我是靠谱客的博主 儒雅小蘑菇,最近开发中收集的这篇文章主要介绍winform窗体爬虫工具开发_提高爬虫开发效率的几个小工具前言小工具,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

优质文章,第一时间送达!

91e6abb829c6a869a94658c3cf5a4faa.png

作者:麦麦麦造

出处:segmentfault

前言

一般开发爬虫的时候,最心烦的不是它的反爬有多复杂,而是它的参数贼多,要一个个的复制进去。

所以自己写了一个小工具,把抓包抓到的 header、data、cookie 这些参数转换成 python 代码。

大大的提高开发效率,其实代码之前已经开源了,不过用起来不太方便,于是最近就把它弄到了线上,用起来方便多了。

涉及到的工具或技术

  • Python 3.7

  • Fiddler v5.0

  • Charles v4.2.8

小工具

在线转换的工具网站:https://alisen39.com/

将 webForms 的数据转成 dict 格式

工具地址:https://alisen39.com/FiddlerData

在 Fiddler 里面,webForms 的数据是 POST 请求所带的参数

761f9a71b444a3c8b0d12bd4fad78e26.png

可以直接将其复制出来然后转换成 dict 格式,如下:

e5442f6b097d6d5cf9400f17b1da7d50.png

然后将转换后的结果直接复制到你的爬虫代码里面就可以使用了!

将 Header 数据转成 dict 格式

工具地址:https://alisen39.com/FiddlerHeader

Fiddler 里的 Header 部分,在 Raw 选项里面:

14ec85acc10c3649c7c3d923319c103b.png

将其复制出来,然后粘贴到左边:

2d7f312c2f25953fac995945f3ef0009.png

将 Cookies 的数据转成 dict 格式

工具地址:https://alisen39.com/FiddlerCookie

Fiddler 里抓到的 Cookies 数据:

357b7569ffea6bdf18851bca71232a3f.png

将其复制出来,然后粘贴到左边:

7e230a2ca237be5d2affb74ca664b0a1.png

重磅工具!将 raw 的数据转成 reqeusts代码

最重磅的一个功能!直接将包的内容转成python代码,真心节省90%的时间。

摁头推荐!!!

工具地址:https://alisen39.com/HttpRaw

复制抓到的Raw信息,从Fiddler或者Charles里都可以。

ebfb7b32f6d2adddf92dbe32ebde9bdd.png

将其复制出来,然后粘贴到左边:

57da233c1074e264ca322a0fac955290.png

再将右边的代码复制到你的IDE里面去

0816b53720aa486b6b4b11b829270ec3.png

就这么esay了。

回复下方「关键词」,获取优质资源

回复关键词「 pybook03」,立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版

回复关键词「入门资料」,立即获取主页君整理的 10 本 Python 入门书的电子版

回复关键词「m」,立即获取Python精选优质文章合集

回复关键词「」,将数字替换成 0 及以上数字,有惊喜好礼哦~

题图:pexels,CC0 授权。

3dbfdbb02aad4792d93dc4bca1cc0625.png

好文章,我在看❤️

最后

以上就是儒雅小蘑菇为你收集整理的winform窗体爬虫工具开发_提高爬虫开发效率的几个小工具前言小工具的全部内容,希望文章能够帮你解决winform窗体爬虫工具开发_提高爬虫开发效率的几个小工具前言小工具所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(38)

评论列表共有 0 条评论

立即
投稿
返回
顶部