如何用pyppeteer获取数据，模拟登陆？

71 阅读 0 评论 47 点赞

我是靠谱客的博主淡定小懒虫，最近开发中收集的这篇文章主要介绍如何用pyppeteer获取数据，模拟登陆？，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本指南适合0基础的读者一步步练习，从而上手python，有基础的可以快速浏览，了解整个思路即可。

Python资源共享群：484031800

安装环境

本指南使用的是python开发环境，先用pip安装 pyppeteer库

python3 -m pip install pyppeteer

详细可以参考官方github：

https://github.com/miyakogi/pyppeteer

hello world！

初次与pyppeteer见面，我们运行下最简单的爬虫代码：

#引用相关的库
import asyncio
from pyppeteer import launch
async def main():
browser = await launch()
page = await browser.newPage()
#想爬取哪个页面，修改对应的url即可，
#注意timeout的设置，因为有时候网速比较慢，可以把超时的时间设得久一点。
await page.goto('https://getgetai.com',{"timeout":3*60000})
#screenshot是截屏的命令，path设置截屏后的图片保存路径跟名称
#await page.screenshot({'path': 'example.png'})
#evaluate是注入js到url的页面里，需要具备js的相关知识
result = await page.evaluate('''() => {
//获得网页的标题
var res=document.title
//把结果返回给python
return res
}''')
#打印返回的结果
print(result)
await browser.close()
#main是异步执行的，需要用这行代码来执行，而不是直接main()
asyncio.get_event_loop().run_until_complete(main())

获取数据，通过研究网页的接口请求方式

网上大部分的爬虫教程都介绍的是通过html的解析来获取自己想要的数据，这种方式需要写大量的html规则，而且需要非常熟悉class、id、attribute、元素直接的相对关系才能从页面上获得自己想要的数据。

目前大部分的网站数据加载都是通过接口来异步加载的，所以我们可以使用接口的方式获取数据，通过研究目标网页的接口请求，直接请求对应的接口获得结构化的数据。

那么，如何研究目标网页的接口请求呢？

打开chrome的开发者工具，点击network面板，点击XHR项，然后刷新页面，查看下面的接口，从中找到想要获取的数据。

给一个示例：

目标网站

https://www.todaytix.com/x/london/shows

找到目标接口：

https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials

对应的获取数据的js：

async function postData() {
var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";
return new Promise(function (resolve, reject) {
fetch(_url, {
method: 'GET',
mode: 'cors',
})
.then(response => response.json())
.then(data => {
resolve(data);
});
})
};

写成python代码：

import asyncio
from pyppeteer import launch
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('https://www.todaytix.com/x/london/shows',{"timeout":3*60000})
result = await page.evaluate('''async () => {
async function postData() {
var _url = "https://api.todaytix.com/views/v2/heroList?location=2&fieldset=HeroSuperEssentials";
return new Promise(function (resolve, reject) {
fetch(_url, {
method: 'GET',
mode: 'cors',
})
.then(response => response.json())
.then(data => {
resolve(data);
});
})
};
var res=await postData()
return res
}''')
print(result)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())

模拟登陆，以印象笔记为例

pyppeteer还可以可视化的调试，只要在launch中通过headless的设置，即可开启可视化的模式。这里可以了解下无头浏览器的相关知识。

什么是无头浏览器headless browser，简单来说是一种没有可视化界面的web浏览器。

做前端开发和web测试的同学对 Headless都不会陌生，它可以直接运行在服务端，向客户端提供服务接口。浏览器该有的功能它都有，只是没有界面而已。

以下为代码，记得把

user_name 跟

pass_word 修改为自己的。

import asyncio
from pyppeteer import launch
async def main():
user_name='your username'
pass_word='your password'
#无头模式关闭
browser = await launch({'headless': False})
page = await browser.newPage()
await page.goto('https://app.yinxiang.com/Login.action',{"timeout":14*60000})
await page.type("#username",user_name)
await page.click("#loginButton")
await page.waitFor(3000)
await page.type("#password",pass_word)
await page.click("#loginButton")
result = await page.evaluate('''() => {
var res=document.title
return res
}''')
print(result)
#await browser.close()
asyncio.get_event_loop().run_until_complete(main())